「大数据」大数据云计算在发电企业的创新应用

推荐单位：国家电投集团河北电力有限公司

本文作者：朱继军

摘要：作为正向能源互联网转型的发电企业，大数据及云计算时代的到来为传统发电企业的发展注入新的活力。在大数据时代，对于发电企业中的管理服务器与数据服务器计算分析能力及技术提出更高要求。而“大数据技术”与“云计算”凭借着对海量数据处理、模型算法、分布式架构及管理分类的高安全性,高可靠性,高时效性的先进优势,必将在发电企业中得到深化应用。大数据和云计算能为公司提供精准数据分析服务，本文主要探讨大数据和云计算在公司数字化转型中的深化创新应用。

引言

近年来数字化在改善生产效率、加强企业管理、强化综合监管等方面发挥了重要作用，成为提升公司的生产发展能力和建设一流清洁能源型企业不可或缺的有效手段。目前正处于一个数据时代当中，对数据的需求越来越大。大数据和云计算是技术核心。面对海量的数据，公司需要通过云计算来更高效地利用数据资产。大数据平台，充分利用人工智能等前沿技术，以分析和检索为核心，打造智能化、精准化、具备快速上线的分析能力，让数据可感知、易分析、易运营，实现不同系统之间的互相访问、各类数据实现统一的规范表示，构建为公司上层应用提供数据资产、计算资源的统一平台，对提高生产经营管理效率等方面起到巨大的作用。

1. 公司数字化转型发展需要云计算与大数据

随着公司数字化转型建设的发展深入，越来越多的意识到数字化系统集中建设的必要性和优越性。公司逐渐实现了从网络到应用的集中共享建设模式。而随之带来的是相应的资源利用，数据安全，业务需求多样性及管理的复杂性等问题。

主要包括：

(1)资源利用效率有待提高，数据中心服务器设备的平均资源利用效率需要进一步整合提升；

(2)IT设备规模越来越大导致IT基础架构变得越来越复杂，运行维护和管理难度增加，当前IT架构需要加强能够快速适应业务变化的灵活性；

(3)服务器、存储等系统需要通过人工操作来管理，容易出错，整个数据中心的高可用性和连续服务能力需要进一步提高。

上述问题大多是综合性的，难以用简单的方式来解决，需要在架构层面加以解决。目前，公司对IT的预期为：

(1)更高的IT资源利用率；

(2)弹性的资源供应能力；

(3)在线自助服务的实现；

(4)通过对通用功能以及应用环境等的封装，提高公司数字化的部署建设效率。

基于以上预期，公司从基础架构层面进行了深层次的变革，引入了云计算、大数据等先进技术来实现建设目标。根据分层分模块的设计原则，云计算平台逻辑架构分为以下四部分：

(1)基础设施层

基础设施层包括运行测试业务区所需的数据中心机房物理环境，以及计算、存储、网络、安全等设备。

(2)抽象控制层

抽象控制层主要是通过部署虚拟化软件，实现硬件资源的池化。即利用各类虚拟化技术，将底层物理服务器进行抽象，对底层硬件故障进行屏蔽，实现统一调度计算、存储、网络及安全资源的功能。同时，虚拟化软件需能实现oracle rac及pass容器平台的承载，预置安全虚拟化组件，如虚拟防火墙可以提供2-7层的安全防护，虚拟vpn实现测试人员的远程安全接入调试。

利用服务器虚拟化内核，实现CPU、内存的虚拟化，通过共享文件系统保证云主机的迁移、HA、动态资源调度和动态资源扩展。采用存储虚拟化技术，充分利用服务器内置的硬盘资源，构建出完整的存储资源池，多副本（2-3份）技术保证存储数据的高可靠，提升存储系统的服务效率。

(3)云服务层

云服务层提供IaaS、PaaS两层云服务，具备基于对象权限和用户角色概念的授权机制，系统既可以提供完整的预定义权限，也可使用自助工具实现自动化流程交付。可利用自服务功能进行各类服务的申请，通过审批后，即可交付所需的各类云资源，并实现远程控制使用。

(4)云运维与管理层

云运维与管理层主要面向私有云的管理员，可以更好的对云平台提供给其它用户的云服务进行配置与管理，例如：服务目录的发布、组织架构（管理）的定义、用户管理、云业务流程定制设计以及资源的配额策略定义等。

采用云计算技术，简化了企业硬件投资，提升了管理效率，使企业能够最大化的享受数字化转型带来的价值，如：

(1)使用软件定义的网络、安全、存储获得效率和敏捷性。

(2)通过提高效率和利用率，降低运营与采购成本，实现资源的按需供给。

(3)通过云化负载的特性，适应动态业务的需求。

除此之外，公司作为电力企业数据是关系到国计民生的重要基础数据，公司的信息系统和数据的安全至关重要，国内外已将安全定义为除计算、存储和网络之外的第四种基础设施，将安全功能虚拟化并实现在云计算架构中的整合，以确保业务系统及数据的安全性。

国家电投集团河北电力有限公司数字化建设发展多年，具备数据量大、类型多、价值高等特点，涉及到公司的方方面面。运用大数据技术，将打破各部门、各单位的数据分割，促进数字化平台的大融合，给公司带来数字化水平的提升。大数据平台提供对生产经营、过程管理、计划财务、供热管理以及客户社群服务等相关数据的统一采集、处理、分析和存储的能力。平台依托大数据技术提供的强大计算能力，完成多种介质的数据采集汇聚，并通过流式框架对数据进行数据解析、映射等泛化处理，然后结合关联分析、可视化分析等技术实现分析模型的构建，深度可视数据价值，打造海量异构数据的智能分析平台，实现对各类数据的管理与挖掘分析，形成完备的数据分析能力，提供多个维度可视化的大数据分析结果，为决策等工作提供有效支撑。

以大数据分析和检索服务为核心，让各类数据可感知、易分析、易运营。依托于底层大数据的计算、存储能力支持，屏蔽复杂的技术实现，提供易用、高效、全面的数据分析平台，使管理人员也具备大数据分析能力，快捷高效的构建数据分析流程，发掘数据的深度价值，对企业数字化管理具体而言：

(1)基于企业各类数据、数据报表，提供丰富的采集解析与关联规则模版，支撑快速构建基于数据的行业模型及应用，对企业运行情况进行客观的反映；

(2)通过检索语言和可视化开发画布，屏蔽大数据底层技术的复杂性，大幅降低使用及部署难度，从而进行数据及材料的整理，明晰企业运营状况，进行各项对比分析，对运营状况进行高效的监督；

(3)提供可视化系统监控运维能力，降低产品不良率，缩短模型调试上线周期，细粒度监控模型的运行状况；

(4)提供数据可视化能力，拖拽配置实现大屏展示，更易发现数据的规律与潜在价值，建立数据辅助决策的流程，基于决策任务进行数据的收集、共享和传递，从而实现数据驱动业务的目的。

2.云计算大数据在公司数字化转型中的现状

目前公司已建成与集团公司云边协同的大数据支持平台。软件采用华为FusionInsightHD系统，硬件采用华为高性能服务器18台及万兆光纤核心交换机、管理交换机12台，冗余架构，为未来风、光、火、热、综合智慧能源五类工业互联网应用场景提供大数据支持。已建成公司集中部署的超融合平台，实现计算、存储、网络等资源池化。

大数据和云计算两种主流技术已成为公司数字化领域关注的焦点。大数据主要涉及处理海量数据，而云计算则涉及基础架构。两者的结合为组织带来了有益的结果。大数据与云计算的关系密不可分，如同一枚硬币的正反面。实现大数据必然无法用单台计算机进行处理，必须采用分布式架构，其特色在于对海量数据的挖掘，需要依托于云计算的虚拟化技术、分布式处理技术、云存储技术等。

国家电投集团河北电力有限公司数字化发展多年，数据具备数量大、类型多、价值高等特点，涉及到公司的方方面面。运用大数据技术，将打破各业务各部门各单位数据的条块分割，促进数据信息平台的大融合，同时带来公司数字化水平的提升，信息系统服务效率的提高。

公司对大数据的应用分各业务方向，运用大数据优化数字化应用管理模式，提升公司内部的管理水平，主要包括如下方面：

(1)助力企业管理决策水平：在制度实施阶段，数据分析能够有效监控制度实施情况。通过数据分析监控，可以掌握制度是否按计划实施，对于计划实施过程中出现的问题或失误，数据分析工作可以及时、准确地反映。在制度评估阶段，需要通过科学的数据分析来解答，对未来制度的完善提供借鉴；

(2)强化的协同管理促进信息融合和企业生产效率提升：建设统一的企业信息系统平台。通过统一的信息平台，实现数据的标准、格式的统一和共享，利用大数据技术，数据获取、处理及分析响应时间大幅减少，工作效率明显提高，有利于压缩企业开支，降低行政成本；

(3)实现精细化管理，提高管控水平：公司各部门、各单位数据的融合将优化内部信息沟通、数据共享，有助于公司实行精细化运营管理，提高公司管控水平。

国家电投集团河北电力有限公司对大数据的使用对外可提供更好的公共服务，利用国家电投集团河北电力有限公司的大数据输出更多的社会效益，主要包括以下方面：

(1)精细化的生产服务，给老百姓提供更加丰富的增值服务内容，如企业掌握了大量关于供热、生产、管理和城市空间地理等数据，运用这些数据可以提供满足群众需求、针对性的公共、社群、政务服务。

(2)促进经济发展：如在经济异常波动时实施宏观调控，公司对大数据信息的掌握和分析，直接决定了宏观调控的效果。

3. 超融合HCI助力公司平滑、安全、高效上云

公司的数字化发展需要云计算和大数据技术的支撑，然而，现有云架构又面临前述诸多挑战，以何种架构建设云计算和大数据才能更好的满足公司当前数字化发展需求呢？答案就是超融合架构。

为推动公司数字化转型，公司选择走向私有云或者混合云。这意味着数据中心的快速部署和简化管理变得十分关键，超融合架构的灵活性正是促使用户关注的重要原因。

超融合架构通过软件定义技术，将网络功能、计算功能、存储功能和安全功能全部虚拟化并融合到一个标准的x86服务器中，旨在帮助用户打造极简、随需应变、平滑演进的IT新架构。超融合可助力公司更好地建设云计算架构，建成真正按需购买、水平扩展、简化管理、安全高效的超融合云，支撑国家电投集团河北电力有限公司的数字化业务系统以及大数据架构的部署，实现企业数字化转型。

有了超融合基本单元，公司可以不用一次性花大代价直接构建私有云，基于软件定义的超融合可提供极简、随需应变、向云平滑演进的IT新架构，数据中心基础架构的搭建仅需少量交换机加上超融合单元即可，大幅度缩短了IT建设周期，借助统一集成管理，以及“所画即所得”的创新功能可有效降低业务运维复杂度和工作量；以超融合单元构建的资源池，同样享受云模式下的弹性和易于管理，并且具备按需交付能力，使数据中心建设可真正意义上做到按需投入，堆积木式的弹性扩展，让业务拥有了前所未有的上线速度；在将来业务发展到真正需要私有云这么复杂的IT架构时，以超融合搭建的IT架构可以直接实现平滑演进，甚至兼容Docker应用，所有投资将得到保护，无需3~5年的超前投资。

超融合架构在业内具有“极简”“平滑演进”以及硬件“解耦化”三个方面实现了技术上的创新，是其最大的差异化优势。

具体如下：

(1)网络虚拟化实现真正意义上的网络、计算、存储和安全资源的统一集中管理，借助“所画即所得”“所见即所得”“一键故障定位”等特色功能使得平台和业务上线后期的运维和管理变得极其简单，无需更多IT运维资源的投入；

(2)而平滑演进使得公司能够以更低的成本，更简单的方式迈向云数据中心建设的第一步，并且随着业务需求推动以及新技术的成熟发展，超融合构建IT新架构能够平滑兼容Docker、桌面虚拟化等，并可灵活向私有云、混合云方向平滑演进；

(3)超融合既可以作为一体机进行交付，也可作为超融合软件进行交付，对硬件完全实现了“解耦化”，这对公司利旧设备有非常大的好处，大大节约了其硬件设备的再次投入。

4. 云计算与大数据的关系及融合

云计算与大数据这两种技术本身都是有价值的。公司的目标是将两种技术有机结合起来以获取更多的企业效益。两种技术都旨在提高公司的管理绩效和收益，同时降低投资成本。尽管Cloud管理本地软件，但大数据有助于业务决策。云中的大数据分析有多个好处：

改进分析。随着云技术的进步，大数据分析变得更加完善，从而带来了更好的结果。因此，公司倾向于在云中执行大数据分析。此外，云有助于整合来自众多来源的数据。

简化的基础架构。大数据分析是基础架构上一项艰巨的艰巨工作，因为数据量大，速度和传统基础架构通常无法跟上的类型。由于云计算提供了灵活的基础架构，我们可以根据当时的需求进行扩展，因此管理工作负载很容易。

降低成本。大数据和云技术都通过减少所有权来为组织创造价值。云使用户无需大规模的大数据资源即可进行大数据处理。因此，大数据和云技术都在降低公司成本并为公司带来价值。

安全与隐私。数据安全性和隐私性是处理企业数据时的两个主要问题。此外，当应用程序由于其开放的环境和有限的用户控制安全性而托管在Cloud平台上时，这成为主要的问题。另一方面，像Hadoop这样的大数据解决方案是一个开源应用程序，它使用了大量的第三方服务和基础架构。因此，公司引入了具有弹性和可扩展性的私有云解决方案。此外，还利用了可扩展的分布式处理。

虚拟化。基础架构在支持任何应用程序中都起着至关重要的作用。虚拟化技术是大数据的理想平台。像Hadoop这样的虚拟化大数据应用程序具有多种优势，这些优势在物理基础架构上是无法访问的，但它简化了大数据管理。大数据和云计算指出了各种技术和趋势的融合，这使IT基础架构和相关应用程序更加动态，更具消耗性和模块化。因此，大数据和云计算项目依靠虚拟化。

云计算与大数据的关系模型

5 结束语

综上所述，分析了大数据和云计算在发电企业数字化转型中的联合应用现状，并提出解决方案。要提高企业数字资产的利用率，合理使用大数据和云计算有重要意义。大数据技术作为新兴产业，仍具有很大的上升空间，同时还能推动公司产业升级。目前是公司走向“互联网+”数字化转型的关键时期，显然云计算和大数据技术将成为公司发展的必经之路，因此，能够融合计算、存储、网络、安全的云与大数据平台，能够助力公司加快数字化转型步伐，全面提升公司的发展、管理、智能服务水平。