当前大数据的成功案例基本上局限于由数据驱动的统计分析领域, 例如网络商业、网络金融与面向消费的个性化服务。要让大数据技术真正融入通常由因果关系数据一统天下的物理系统分析领域, 思维方式需要重大变革。薛院士提出大能源思维与大数据思维的融合, 使电力大数据成为大能源系统广泛互联、开放互动及高度智能的支撑, 包括: 广域多时间尺度的能源数据及相关领域数据的采集、传输和存储, 以及从这些大量多源异构数据中快速提炼出深层知识并发挥其应用价值, 并通过若干案例分析, 阐述基于数学模型的因果型数据、尚未掌握或并不存在因果关系的统计型数据以及参与者行为数据的融合, 体现大数据思维对提高大能源经济性与可靠性的贡献。本文将连载，与大家分享主要内容。
【连载】大能源系统的大数据应用前景 国电南瑞：大能源思维与大数据思维的融合（三）
为了从大数据中快速获得对具体物理系统有价值的知识，一方面要从数学与计算机技术的角度，研究大量群体的多维度数据及其融合；另一方面，必须紧密结合具体的物理系统及过程，才能有效挖掘知识。通过剖析笔者亲历的研究案例，从大数据理念出发，解读和探讨在原本基于统计分析的课题中融入数学模型及因果分析的可能性，以及在基于数学模型的分析与控制领域中融入统计型数据及博弈型数据的有效性。
本文案例中不再是改进原有算法，而是探索两种分析方法都无法单独完成的、全新的数据分析方法。
1研究范式的深度融合
1.1根据实证数据建立参与者博弈行为的多代理模型
将电力系统放入包括一次能源、环境、经济的大能源框架中，综合分析能源流、物质流、信息流、资金流的广义阻塞因素。针对节能减排及碳交易、用电侧电动汽车（EV）、一次能源等具体问题建立动态仿真模型，研究决策支持，就必然遇到大量的博弈行为。
国际能源署（IEA）开发的MarketAllocationModel（MARKEL）模型将参与者决策因素作为给定的边界条件，难以反映决策行为与其他模型之间的交互。基于有限理性经济人的假设研究决策行为，认为决策者的偏好和一系列心理规则决定了决策空间的边界。实验经济学通过真实人参与的实验，可探究博弈行为的影响，但需要长期占用大量合格的实验者，且又难以分析决策对参数的敏感性。
笔者提出：通过对问卷调查，实验经济学仿真，或者参与者实际博弈数据的挖掘分析，提取描述其博弈行为中的多维随机变量的联合概率分布函数。就可以建立不同参与者行为的多代理模型，代替对应的参与者加入到反复的实验经济学仿真，实现对包括真实决策者在内的大规模复杂系统的仿真模拟，建立具有工程实用价值的决策大数据沙盘推演新方法。
需要进一步研究自动学习及智能抽取特征的方法，对数据进行更加准确、有效的表达，并将其融入建模过程，减少人为设计中的不完备。
1.2基于数学模型、实证多代理模型、真实参与者的混合仿真
实验经济学通过真实人参与的仿真，探究在一定的社会环境中支配经济行为的规律，以及有限理性或非理性博弈行为对系统行为的影响。但是，当通过摄动方式分析系统行为对某指定参数的敏感程度时，希望每个参与者仅根据该参数的变化来改变其决策，而对其他参数的态度则在多次仿真中保持一致，但真实人却难以符合此要求。此外也难以长期邀请到合格的专家参与仿真，故希望能尽量用多代理来代替参与仿真的真实人。其前提是该代理决策的概率分布在任一场景下都符合相关真实人（群）决策的概率分布。为了能尽量用多代理模型代替大部分（有限）理性的真实参与者的行为，根据上一节介绍的从大数据中提取多层次相关的统计信息，建立能真实反映特定样本集多维概率分布特性的多代理模型。
为此需要建立支持数学模型、多代理模型、以及反映特殊人群或非理性行为的少量真实人之间的动态交互混合仿真的平台，通过仿真可以计及各种不确定性因素对决策后效与系统态势的影响。
大数据思维将经典的市场理论与创新的数据驱动方法结合，在分析与决策中引入信息论和行为学，挖掘参与者的博弈行为，使宏观决策与微观决策之间的互动更加真实。包括预测市场风险，支撑更灵活的交易，完善市场监测、预测和预警系统，管控能源金融风险，及信息安全风险，同时也促使各参与者转向量化的推演范式及决策机制，支撑对人、机、物交互中引起的涌现性（emergence）的研究。
由于关注全部数据，关注效率及精度，关注统计关系及因果关系，关注混沌规律（无规律可寻）及浮动规律（有迹可寻，但要求数据足够多），故特别适合于（部分）缺乏严格的因果关系的场合。
2通过混合仿真，实现沙盘推演
2.1EV购车愿望、出行及参与电网辅助服务行为的沙盘推演
EV是在终端能源侧实现电能替代的重要手段。笔者根据特定人群给出的一组关于购买偏好（或出行意愿）的问卷答案，构建对应的多代理的概率模型。对于给定的具体场景，该多代理多次决策的概率分布可以非常接近于问卷答案的概率分布。
为确保多代理模型的输出与某个指定人群的行为在统计学上的一致性，需要从学习样本集挖掘有关的多特征量心理阈值的联合概率分布。为此，利用关注度排序方法来反映学习样本人群对各因素的重视程度，利用树型频次矩阵反映相邻重要层决策之间的关联性，同时通过引入规则，以减少对问卷数的依赖。通过蒙特卡洛方法按上述数据结构反映的权重完成意愿的随机抽取，从而构建重现人群意愿分布的多代理模型。学习样本集可来自仔细设计的调查问卷，或实验经济学仿真结果或实际行为的记录。
这样，就可用得到的多代理模拟该人群的决策行为或意愿，用不同的多代理代替行为特征不同的人群参与大量仿真。同时，由少量的真实人参与实验经济学仿真，以反映特殊人群的主观意愿。两者结合可以穷尽式地研究涉及大量参与者的社会问题，提供科学决策支持。例如出行距离、续驶里程焦虑、行程充电次数等因素对EV出行影响的贡献度，以及影响参与电网辅助服务意愿的主要因素。
2.2碳排放市场的沙盘推演
为保障能源可持续发展与环境安全的分段目标合理化，并优化对应的动态路径，希望依靠混合仿真平台，计及广义环境及博弈行为的不确定性，推演整个博弈过程的轨迹。人类的社会行为信息非常复杂，而分析其与物理系统的交互影响则更加困难。根据参与者实际博弈数据建立了对应的多代理模型，进而从混合仿真得到的轨迹中提取各种量化指标，有效评估不同方案的减排效果及风险防控能力，支撑碳市场的构建与运行决策。
要实现物理系统的高效、高可靠和自愈，需要实现信息在物理系统内的广泛共享和有效利用，提高对系统的感知和控制能力。两者深度融合成为CPS，是物理系统智能化的关键。
普适的大数据技术要与具体业务配合。在数据的获取、存储、处理、安全、隐私保护的技术层面和管理层面都存在着新的挑战。在技术层面上包括：对有效数据的可靠采集，数据种类交叉、冗余、不一致、不完整、异步采集等壁垒，数据完整性、质量、一致性与多源的矛盾；开放性与隐私保护的矛盾；广度与深度的矛盾；大数据与深层知识的矛盾；统计分析与个性化服务的矛盾；数据的大量与知识的精准的矛盾。在管理层面上包括：消除多领域跨部门之间的数据孤岛与藩篱，共享交互与知识产权的矛盾。数据价值的评估体系。
3跨领域信息物理系统(CPS)的协同分析
3.1信息物理电力系统领域的研究
电力系统内部数据源包括广域量测系统（WAMS）、数据采集与监控系统（SCADA）、用电信息采集系统、生产管理系统（PMIS）、能量管理系统（EMS）、配电管理系统、电力设备在线监测系统、客户服务系统、财务管理系统的数据；电网外部来源包括气象信息系统、地理信息系统、互联网、公共服务部门、经济运行发展及用电需求等。
现代电力系统要求统筹考虑经济、社会、环境等方面对电力的要求与影响，解决广义阻塞，优化能源、经济及环境的整体解决方案。为此，电力大数据除了对电力系统内部的发电、输电、变电、配电、用电及调度等不同环节之间数据的互联互通提出更高要求外，电力流、信息流、资金流、排放流、综合能源流、非能源的业务流之间的协调优化也需要在更广泛的多领域之间共享数据，提升数据价值利用水平。反映在电力流的不同环节中：
1）发电领域：提升能源转换效率，提高风光电预报精度，协调消纳大规模新能源及分布式能源，深度调节火电。
2）输电领域：提升能源输送能力及效率，提升在线监测、抵御自然灾害风险及自愈能力。
3）变电领域：提升变电侧状态感知、广域全景实时信息共享和网络优化、实时控制和智能化运行及资产全寿命管理。
4）配电领域：分布式电源及储能的友好接入，提升供电可靠率及配网控制水平，推进配电网能量流、信息流和业务流的融合及双向互动。
5）用电领域：实时电价及能耗，节能等用电服务模式，优化用电管理、用户能效诊断等增值服务。
6）调度领域：建设以数据驱动的智能调度体系，电力可靠性问题拓广到非电领域的影响。推进自动化、协调互动、科学组织生产，确保电网安全、经济、优质运行。
借助于数据统计、机器学习、传统数据挖掘、领域知识挖掘，以及数据可视化等技术，洞察并展现一些隐藏于大数据中的分布、关系、趋势、模式、规律及性质，从中获悉用户个性化用能需求与特性、能耗的时空分布等。
数据驱动的无模型分析适用于相对简单、直观、数据性明显的业务。分析智能表计数据，可获得用户的分类、行为特性及价格敏感度信息，有助于差异化服务需求。对于因果关系强的业务则必须与领域知识相结合，而涉及博弈行为时则需要依靠数学模型、多代理与实验经济学的混合仿真。由计算设备、通信网络、传感设备与各种固定或移动的物理设备协同，在计算机虚拟环境中同步构造了物理系统的镜像，从物理系统和信息系统的整体视角预警风险，推演决策。许多物理部件都将植入嵌入式控制设备并通过通信网络与控制中心互联，控制中心可以根据传感器网络收集到的系统内外信息，在线自适应地修改分散控制器的参数或流程，甚至信息系统的结构。在反复的沙盘推演基础上，协调众多个体和系统之间的优化，提高整个系统的功效。
3.2信息物理能源系统领域的研究
全球能源安全和气候变化问题迫切需要科学合理的能源整体解决方案。大能源观以电能为核心，将一次能源、二次能源、终端能源等环节视为整体，并计及与经济发展、社会文明、民生福利、气候环境、政策法规等的交互影响，来研究能源安全与能源经济。它以系统论的方法，可持续发展的理念，从全局、整体、历史、开放、普遍联系的视角统筹考虑能源发展与经济、社会、环境、外交等各方面的关系，推动能源发展方式转变。为此，需要构建一个融合开放的大能源数据平台，支撑经济环境、一次能源、管理政策、能源需求及用电方式变化等因素的统筹协调，协同解决广义阻塞问题。
在一次能源侧构建多元互补的综合能源系统，优化制氢等多类型、大容量、低成本、高效率、长寿命的综合储能系统以及就地可调负荷，以应对可再生能源的随机性及模糊性，减少弃风弃光。鼓励化石类能源加工的优化，分质分级利用，促进可再生能源与化石能源的协同生产。在能源输送环节协调建设及运行电网、热网、石油管网、天然气网、交通网。在终端能源侧构建与互联网深度融合，与分布式能源友好的冷热电三联供微网。通过能源流监测、管理和调度的网络化，推动分布式可再生能源的发展。
单领域信息所包含的知识量有限，而相关的多领域的信息结合，知识量将大大增加。但如何找到并揭示未知的知识，则是关键。信息物理能源系统是以整个能源系统为物理基础的CPS。它通过传感测量、专用网、互联网、大数据、计算机和控制技术与各种一次能源、二次能源及终端能源深度融合而成。在先进的信息通信技术支撑下，以电能为核心枢纽，经济而有效地支撑一次能源的清洁替代，可靠而开放地推动终端能源的电能替代。多少有些令人遗憾的是，人们将其概念范畴的某个子集称为能源互联网（EnergyInternet）。
一次能源、排放、自然灾害、电力市场、资金约束、通信等领域的事件都会通过影响电力系统内部环节而引发充裕性问题，故与广义阻塞概念的引入类似，有必要将充裕性的概念扩展到广义范畴，并将停电防御框架拓展至一次能源领域。
信息物理能源系统将网络技术深度嵌入到能源系统中，感知和改变后者的状态，从多种形式的数据中提取知识及决策支持。提供更加细致的保护和防御以抵御对数据、硬件及功能的威胁。包括基于模型的程序指引，从数据中学习并预测，及根据例子预测和判断。由于相关人员的参与面及程度的加大，行为数据及其影响大大增加。
需要将广域信息的采集范围从电力系统内部扩大到自然环境和社会环境，对冻雨、台风、雷击等自然灾害早期预警，将预警目标从单故障风险拓展到群发性相继故障的风险，跟踪一次能源和环境条件等的变化态势，动态评估信息系统的风险及其对停电防御的影响，留出更长的时间来准备应对预案。将自适应优化的决策范畴从减少停电规模（通过预防控制和紧急控制）扩展到同时考虑减少停电时间（通过恢复控制）。尽量避免突发的小概率事件演化为大范围的公共危机，并通过对灾难的善后处理尽快地回归正常秩序。
泛在信息网络包括Internet与各种专用网。一方面，综合能源系统的调度与控制需要依靠专用网来保证其可靠性及实时性。对各种能源系统的专用信息网络建立有序的共享，实现整个能源流的实时监测、动态控制，实现人与物理进程的交互控制。另一方面，转变能源生产和消费模式都需要发挥市场在资源配置中的决定性作用，提高用户参与能源交易的广度与深度，建立新型能源市场交易体系和商业运营平台，发展储能和EV应用、智慧用能和增值服务、绿色能源灵活交易，破除物理系统及信息系统各自内部及相互之间的藩篱，促进人才、资金、资源、技术等要素的流通。
建立多方参与、充分竞争，以能源、辅助服务、新能源配额、碳排放、虚拟能源货币等为标的物的多元能源市场交易体系，鼓励众多参与者灵活自主地参与能源市场，并通过沙盘推演，研究参与者的博弈行为对行动计划效果的影响。这些都需要在保障信息安全和市场参与者的合法权益的前提下，依靠互联网的开放性及商业性。
【连载】大能源系统的大数据应用前景 国电南瑞：大能源思维与大数据思维的融合（三）
原标题：【观点】南瑞集团公司 薛禹胜等: 大能源思维与大数据思维的融合（六）探索全新的数据分析方法
