当前大数据的成功案例基本上局限于由数据驱动的统计分析领域, 例如网络商业、网络金融与面向消费的个性化服务。要让大数据技术真正融入通常由因果关系数据一统天下的物理系统分析领域, 思维方式需要重大变革。薛院士提出大能源思维与大数据思维的融合, 使电力大数据成为大能源系统广泛互联、开放互动及高度智能的支撑, 包括: 广域多时间尺度的能源数据及相关领域数据的采集、传输和存储, 以及从这些大量多源异构数据中快速提炼出深层知识并发挥其应用价值, 并通过若干案例分析, 阐述基于数学模型的因果型数据、尚未掌握或并不存在因果关系的统计型数据以及参与者行为数据的融合, 体现大数据思维对提高大能源经济性与可靠性的贡献。本文将连载，与大家分享主要内容。
延伸阅读：【连载】国电南瑞：大能源思维与大数据思维的融合（一）
【连载】国电南瑞：大能源思维与大数据思维的融合（二）
【连载】大能源系统的大数据应用前景 国电南瑞：大能源思维与大数据思维的融合（三）
1大能源系统研究中的大数据范式
实验曾是唯一的科学研究范式，然后出现基于定律和定理的理论研究，再后发展的计算机技术催生了计算科学。这三种研究范式针对的是因果关系型的数据。被认为是第四种范式的数据驱动型范式，或称大数据范式，以统计关系型数据为主要研究对象，以协同化、网络化与数据驱动为主要特征，包括知识的发现、标识与评估。
大数据是指具有复杂结构，且其数据量对于待求解的问题来说足够大到具备统计意义的数据集，包括那些不具有或尚未掌握其因果关系的大量无模型数据。但是，大数据绝不应该排斥因果关系型数据及博弈关系型数据。
大数据研究范式强调从大数据中发现关联关系。若仅仅凭借统计关系型数据，就只能回答事物间的相关关系“是什么”，但无法回答“为什么”的问题。此时不可能采用严格推导的分析思路与精确算法，而适用粗略的统计算法。但是，大数据研究范式也绝不应该排斥因果分析技术。
笔者认为不应该孤立看待上述不同的研究范式。大数据技术不能局限于数据驱动，而应该覆盖所有类型的数据，涉及异类数据间的协同，精确算法与统计算法的融合，以及不同研究模式的协调。事实上，复杂现象除了反映在统计关系上，也会反映在因果关系上，3维的洛伦兹系统就是生动的例子。由于基于因果关系的分析兼蓄了数学推导的严格性和物理概念的简明性，因此在揭示问题的内在关系和演化规律方面起着不可替代的作用。一方面，局部的因果关系往往有助于研究全局的统计关系；另一方面，在统计关系型数据中尽量挖掘出其中可能存在的(准)因果关系的数学模型，本身就是大数据技术的任务之一。
因此，广义的大数据范式应该包含实验、理论研究、计算科学、数据驱动等范式，而由数学模型、多代理、实验经济学仿真参与者动态交互驱动的混合仿真，就是数据驱动与实验、理论、计算等范式的结合。为此，需要探讨如何利用建模技术、仿真技术、算法及指标，来推动对统计关系型数据的研究。例如，因果关系中的不确定因素需要用统计关系来表达；统计关系中挖掘出来的机理则也可能表达为传递函数之类的因果关系。
对于电力系统，其复杂性不但源自其高维时变的非线性，还反映在多领域(物理、经济、资源、环境、信息)、不同稳定性(静态、动态、暂态、周期、结构)、多时间尺度(电磁暂态、机电暂态、中期、长期)、多物理量(电流、电压、频率、功角)及多空间尺度(局部模式、全局模式)等方面。
美国能源部对北美“8•14”大停电的调查报告指出：由于电力公司和电网监测中心未及时做出准确的分析和判断，没有在相继事故的间隔时段内及时采取有效措施，因此系统在多重相继开断下变得脆弱，最后发展为大停电，这涉及信息监测、在线分析和控制决策等3个任务。不论是预防控制、继电保护、紧急控制、校正控制，还是恢复控制，都需要自适应能力，即不断跟踪电网拓扑和工况的变化，及时更新最优决策。为此，需要将目前相互孤立的各种广域数据采集监控系统集成为统一、开放的广域信息平台。实时采集的静态/动态信息可以及时反映已发生的现象，但若要在推演场景下优化控制决策，就必须依靠仿真分析。
物理框架一旦从电力系统拓展到大能源系统，问题的复杂性必将成倍增加。为了支持更全面的分析、更准确的预测及更具价值的辅助决策，需要构筑多领域跨时空的数据价值链，建立完善的市场监测、预测和预警系统，管控能源金融风险及信息安全风险。
延伸阅读：【连载】国电南瑞：大能源思维与大数据思维的融合（一）
【连载】国电南瑞：大能源思维与大数据思维的融合（二）
2大能源系统对信息系统的要求
大能源系统的大数据分析对数据的采集、存储、集成、挖掘、管理、展现及安全的要求包括：
1)突破时空限制，快速处理跨物理空间和网络空间的各类数据资源。
2)打通各领域系统的业务流、资金流和信息流之间的藩篱，从价值的传递提升为价值的创造。
3)构建大能源数据中心及其运行管理平台，形成多业务多维度协同分析的数据价值链，支撑大能源的安全及高效利用。
4)确保网络安全和信息可靠。
在数据架构方面，需要突破传统信息技术针对特定应用的局限性。一方面要贯通各种能源系统内部各环节间的数据，推进多业务间的高效协同；另一方面要打通电力系统与一次能源、用户需求、自然环境、经济社会、管理政策之间的信息壁垒，为能源安全及环境安全提供信息支持。实现开放、融合、可扩展的分布式一体化数据服务体系。
在数据获取与集成方面，需要融合多源数据，大幅提高数据采集的准确性、时效性和可靠性。构建横向协同、纵向贯通的数据平台，支撑地理信息系统、电力系统分析、运维检修、电力市场(包括发电侧、需求侧、输电权、辅助服务、碳资产)、电力营销、移动应用、云环境下的业务应用及集成服务模式，提升数据的完整性、及时性、有效性和一致性。
在数据存储方面，需要有效、快速、可靠地存取甚至达到海量的数据，包括大容量、分布式集群存储设备，及数据归仓、云存储、虚拟存储等硬软件的研究，协同提高计算能力。
在数据管理方面，在对各类数据，特别对非结构化数据的组织、清洗、融合、集成、抽取、转换、装载、检索、维护时，减少数据冗余，提高数据共享、服务及管理效率。既要充分体现其内在联系，便于数据修改与扩充，又能保证数据的独立性、可靠性、安全性与完整性。
在数据分析与决策支持方面，需要深入探索大数据的挖掘技术，重视信息的深度加工和有效表达。大数据分析技术有：遗传算法、神经网络、数据挖掘、回归分析、分类分析、聚类分析、关联规则学习、数据融合与集成、机器学习、自然语言处理、情感分析、空间分析、时间序列分析等。
在信息安全方面，需要将信息安全从被动防御向多层次、主动防御转变。包括应用可信计算、并行加密、标识认证、智能分析等新技术，在支撑多类型终端开放互动能力的同时，保障信息的机密性、完整性、可用性和可控性，特别是云环境及移动互联环境下的安全性。要可靠防御黑客攻击及各种灾害对信息系统的破坏，正确处理大数据的开放与安全的矛盾。
在数据展现方面，需要把握数据的内在特征和规律，综合运用计算机图形学、图像处理、计算机辅助设计、历史流、空间信息流、计算机视觉及人机交互等领域技术，灵活地为不同的物理系统提供直观互动的可视化展现与虚拟现实，把复杂的数据转化为可以交互的图形，提升电力数据的可利用价值。
3大数据应用前景
大数据的研究从数据的挖掘、分析、处理到应用，其中应用是整个大数据的出发点和归宿，应该遵循需求牵引、问题导向、案例推理的原则。只有把大数据转化成思想及知识，才能带动大数据技术的产业。
3.1智能电网
能源革命推进了智能电网与各种新能源及用电技术的关联；大规模风光电的接入大大增加了电力生产的不确定性及电网运行的困难；大规模EV的充放电又增加了电力消费的随机性；发、输、配、用、储,各环节内的不确定因素及其交互影响越来越复杂。大数据技术成为提高电力流效率及防御大停电灾难的基础。
2013年美国EPRI启动了输电网及配电网的现代化示范项目；国际电工委员会(IEC)定义的智慧能源系统是以智能电网为核心，以先进的信息技术为支撑，实现电网与其他能源系统交互，推动大规模新能源接入。
中国电机工程学会2013年发布了中国电力大数据发展白皮书。国家电网公司也启动了设备状态预警、营销、用电、客户服务等方面的大数据示范应用研究，融合传感量测、信息通信、计算机、数据分析与领域技术。旨在：(1)通过各种渠道获得覆盖电力生产、输送、消费、交易、社会服务的电力大数据；(2)融合因果分析、统计分析、行为分析、智能分析等手段来挖掘知识，实现智能预测、精准调度、辅助服务、需求侧管理、个性化服务、状态检修、灾害预警、故障诊断、突发事件应对、行为分析、能效管理、投资管理、电力金融平台、市场交易；(3)提升对基础设施规划、设计、建设、运行、维护、营销、交易、监控、管理、资本运作的科学决策水平，持续推进能源体制创新。
延伸阅读：【连载】国电南瑞：大能源思维与大数据思维的融合（一）
【连载】国电南瑞：大能源思维与大数据思维的融合（二）
3.2大能源系统
以电为中心、以清洁化与智能化为特征的能源革命正在推动整个能源的生产、消费和管理模式的重大变化。促进各类数据资源整合，覆盖电力系统、供热(冷)系统、燃气系统、燃油系统，以及气象、经济、交通等非能源系统，而在各能源子系统内则覆盖了能源的生产、转换、传输、交易、存储、消费各环节。建设基于互联网的智慧用能的量测与交易平台，基于智能楼宇与智能工厂的能源综合服务中心，实现多种能源的智能定制；鼓励个人、家庭用户与分布式发电、储电、储热、储冷、储氢等多类型的分布式储能资源之间通过微平衡市场进行局部自主交易，推动紧急备用、调峰调频等增值服务。
3.3环境安全
人类活动产生的排放若超过生态系统的自修复能力，就会破坏其平衡。反过来，后者将以频发的极端气候来增加停电风险等方式以惩罚人类，甚至引起气候系统崩溃而毁灭性地打击人类。因此，必须重视生态工程，并通过排放权市场及其监管来管理风险。为此需要获取环境信息，包括污染程度、类型、交叉程度、分布区域、危害、波及人数等数据，并在大数据支持下综合分析传统风险与新型风险。
虽然难以严格确定自然界的可恢复域，但人们按大数据及经验给出了温室气体排放的安全阈值。各国正在通过协商各自的排放额度，以保证全球气温上升幅度不超过2℃，并在实施气候工程以提高自然界修复能力的同时，监控各行各业，特别是能源流对应的排放。但要使更多民众积极参与到能源的清洁替代与电能替代措施中，则除了完善监控体制外，还必须制定适度的补贴及惩罚政策来引导人们参与能源流的行为。政策不到位就难以实现减排目的，但过激的政策又会使减排成本过高。两者都可能颠覆气候工程。
碳排放的动态过程受到众多参与者，包括各种化石类及可再生能源的生产商、发电商、终端能源商、监管者、政策制定者的博弈行为的影响。他们的行为可能有限理性，也可能非理性。分析涉及各种一次能源的采集、输送和储藏,物理系统，经济系统，环境系统，及监管政策机制等领域的统计关系数据、因果关系数据及包括博弈数据在内的各种社会行为数据，使决策从当前基于主观经验的模式，发展为基于数学模型、参与者及多代理模型的混合仿真的沙盘推演模式。
3.4市场经济
电力生产、电网运行与其营销、管理、资产全寿命管理等任务不但影响到能源经济、政策制定和经济决策，也受到经济社会状况及政策等外部环节的影响。大能源概念下出现的虚拟电厂、负荷集成商、第三方增值服务供应商等新兴市场主体，大大增加了灵活性资源供应。相应地，需要完善市场机制，兼容用户以直接、间接等多种方式自主参与灵活性资源市场交易的渠道；建立合理的灵活性资源补偿定价机制，保障灵活性资源投资拥有合理的收益回报。但是，当前的信息系统基本上局限于电力生产与调度的业务层，故难以有效地促进电动汽车与智能电网间能量和信息的双向互动，推动智能充放电业务，鼓励用户参与电力需求响应，自主提供能量响应、调频、调峰等灵活的能源服务，实现电动汽车与新能源的协同优化运行，以互联网平台为依托实现实时交易。
需要学习沃尔玛利用大数据思维从“啤酒与尿布”商业案例中受益的经验，挖掘市场参与者的行为，预测市场风险，支撑更灵活的交易，也促使各参与者转向量化的推演范式及决策机制。大数据思维将经典的市场理论与创新的数据驱动方法结合，在分析与决策中引入信息论和行为学，使宏观决策与微观决策之间的互动更加迅速高效。
基于客户服务系统、用户信息采集系统、营销业务系统等营销数据，评估客户信用，分析电能替代潜力、用电行为，预测售电量，评估市场风险，制定竞争策略，挖掘在电子商务、节能服务等领域的商业价值。
3.5信息系统
在信息系统本身的建设与完善中，也应该充分发挥大数据技术的作用。包括加强信息安全体系及安全技术，大数据共享与隐私的协调，开放与防御的平衡，数据被窃或篡改的防御，个人信息开放和保护的平衡，高级可持续攻击的应对。
在分析与预警方面，由于发、输、变、配、用电需要保持瞬时平衡，在稳定性分析、可再生能源的预测及备用容量的调度、大停电风险分析与综合防御等方面均需突破。大数据算法的思路强调全部数据而不是个别子集，更加关注效率与相关性，关注混沌规律(无规律可寻)和浮动规律(有迹可寻，但要求数据足够多)，而不是恒常规律(通常基于少量数据即可发现)，从价值密度低、异源异构异质的大数据中有效提取价值并增值。此外，还需要建立参与者博弈行为的多代理模型；建立可同时支撑数学模型、多代理及真实参与者的混合仿真平台；克服知识挖掘中的瓶颈。利用统计分析技术提高模型仿真的速度，或利用(准)模型分析技术提高统计分析的质量。
在决策与控制方面，需要提高监测预警、状态评估、故障分析、检修决策、风险管控、资源利用、信息安全等水平。例如，在非自治和非线性因素下，如何摆脱数学模型而仅根据实测轨迹来量化系统动态。需要在算法与受扰轨迹的知识提取上取得重大突破，才能真正发挥PMU在广域保护中的作用。
3.6管理
重要的管理决策应该从当前基于主观意愿的经验模式，转为基于数学模型、实证多代理模型及真实参与者的混合仿真，通过沙盘推演来优化决策的科学模式。
延伸阅读：【连载】国电南瑞：大能源思维与大数据思维的融合（一）
【连载】国电南瑞：大能源思维与大数据思维的融合（二）
原标题：【观点】南瑞集团公司 薛禹胜等：大能源思维与大数据思维的融合(三)大能源系统的大数据应用前景
