高比例新能源渗透情景下火电企业竞价策略研究对保障火电企业运营和推进新型电力系统建设具有重要意义。基于智能体建模框架，建立电力现货市场仿真模型和机组自学习决策模型。其中，环境模块建立了考虑源荷双侧不确定性的风光火储多方参与的电力现货市场出清模型；智能体模块将火电机组投标决策过程刻画为部分观测马尔科夫决策过程，采用深度确定性策略梯度算法求解。以HRP-38节点系统为例进行仿真分析，明晰高比例新能源下火电企业市场交易策略。结果表明：在不考虑火电机组提供辅助服务的前提下，随着新能源渗透率的提高，仍有部分位置独特且具有成本优势的火电机组拥有竞争力；预测误差增大将使大容量火电机组投标策略趋于保守，而小容量机组投标策略相反；火电机组在各类场景下均具有隐性共谋倾向，即彼此隐藏信息时仍同时提高报价。
（来源：中国电力 作者:李超英, 檀勤良）
0 引言
电力市场化环境下新能源规模化发展将带来市场主体利益格局的深刻调整。新能源发电短期运行边际成本接近零，将对电能量市场出清价格产生冲击。传统火电机组在电能量市场将逐步成为边际机组，其报价仍将持续影响市场出清价格水平。了解火电在电能量市场获取的收益水平，评估火电生存空间，可以为政府出台容量市场、辅助服务市场等政策提供支撑参考，助力新型电力系统建设。因此，有必要研究新型电力系统中，不同新能源渗透率下火电机组的电能量市场交易策略。
电力市场主体投标策略大多采用优化模型、均衡模型或仿真模型。关于优化模型方面，文献[1]通过计算发电站在市场出清时中标的概率来制定其投标策略；文献[2]研究线路堵塞对发电站投标策略的影响；文献[3]研究了价格需求响应的竞价方式对日前电力市场拥堵和局部节点边际电价的影响；文献[4]根据市场结构、拍卖规则和招标协议来制定投标策略。上述文献通常只关注系统中的特定市场参与者，主要在线路堵塞、价格需求响应、市场规则等单个影响因素下研究火电机组投标策略，将系统的其余部分简化为一组外生变量，难以分析各因素的组合影响，也简化了机组投标行为的不确定性。新能源的逐步并网使得发电侧出力曲线波动性增加，进一步增大了机组报价行为的不确定性，使得优化模型难以反映系统的复杂动态性。
关于应用均衡模型方面，多以事先假设的市场主体之间的合作与竞争关系为基础，再根据具体的博弈论原理研究机组的投标策略。常见的解决电力市场主体投标策略问题的模型有：以价格为博弈策略的伯川德模型[5]、以数量为博弈策略的古诺模型[2]、包含领导者和追随者的斯塔克伯格博弈模型[5-8]、以鲁宾斯坦博弈模型[5]为代表的完全信息动态博弈模型，以及联盟博弈模型[9-10]等。这些文献的局限性在于：一是博弈过程严格服从理论模型，刻画实际电力市场博弈过程有限；二是传统博弈论方法难以求解规模庞大的状态空间和动作空间的市场均衡问题；三是博弈模型不能结合电力系统网架结构，得到的电力市场主体投标策略未能考虑物理因素优势及限制。
仿真模型则在一定程度上解决了优化模型及均衡模型的缺陷。基于智能体的建模和仿真（agent-based modeling and simulation，ABMS）将电力市场的复杂性刻画为基于规则的智能体之间动态交互的集合，更关注局部互动向全域扩散的规律，体现了系统异质性、自治能力、显式空间、局部交互、有限理性和非平衡动力学等概念[11]。如今ABMS在电力领域被广泛用于研究智能电网[12]、电力市场机制[13-15]、发电企业投资决策[16-17]、企业市场力[18]等问题。在仿真模型中，电力市场交易规则、市场主体设置、不确定性问题的处理设置更加多样灵活，不做过多假设的情况下，模型中将考虑更全面的影响因素，失真率较低。
随着人工智能的发展，将博弈论和强化学习算法结合起来的智能博弈对抗技术为参与者众多、动态变化的复杂场景提供了有效分析工具[19]，其中博弈论能够提供有效的解概念来描述多智能体系统的学习结果，强化学习算法则为智能体的训练提供了可收敛性学习算法。强化学习算法例如Erev-Roth算法[20]、Q-learning[21-22]、深度确定性策略梯度算法（deep deterministic policy gradient，DDPG）[23-24]等均被逐步应用到电力市场交易策略的研究中。
对于新能源机组与传统火电机组共存的投标策略的研究，大多数文献设置了新能源高渗透率场景，并集中探究火电机组与其他类型电源的合作关系。如文献[25]基于合作博弈论建立风水火联合运营模型，通过不同合作模式和独立运营的对比分析表明风水火联营能够有效实现整体经济效益和环境效益最大化，并且有效解决弃风弃水和火电企业经营困难的问题。文献[26]通过建立考虑投标偏差惩罚的风火机组联合组成的两阶段随机整数规划竞价模型对风火联合竞价策略进行研究。文献[27]重点考虑风电的消纳问题，针对不同尺度的电力市场提出了不同的竞价优化交易策略模型，算例分析结果表明风电和火电联合参与电力市场会具有额外收益。
综上，目前有关火电企业交易策略的研究对市场环境与变量的刻画不全面，未考虑复杂动态的电力市场环境，同时没有采用仿真方法研究能源转型过程中不同新能源渗透率与火电机组投标策略的关系。为研究该问题，本文基于ABMS框架，建立多类型能源电力现货市场交易仿真模型。在假设发电企业之间彼此隐瞒信息的情况下，采用将环境交互与策略实时学习相结合的DDPG算法求解机组最优竞价行为，同时改写算法中原本的环境概念，将电力市场出清随机优化模型作为算法中的环境。在仿真过程中，环境模块的市场出清模型计算结果作为智能体学习的数据输入，智能体模块的投标决策输出作为市场出清模型的投标数据输入，环境模块与智能体模块不断交互迭代，机组将学习最优投标策略。以HRP-38节点系统为例进行模拟，研究不同新能源渗透率、不同预测误差以及有无储能等场景下火电机组的交易策略及收益情况，结果验证了模型的有效性，明确了高比例新能源渗透率下火电企业市场交易策略。
1 总体框架
ABMS通过设置和调整个体水平上的智能体的行为和互动模式，观察集体水平上的总体特征改变，精确而低成本地控制变量。基于ABMS框架，实现对实际电力市场的优化出清模拟。智能体与市场出清模型之间的交互模式如图1所示。仿真模型通过对发电系统、电网系统、电力负荷等市场参数的精细建模，采用考虑安全约束的机组组合和经济调度优化算法进行仿真出清，输出各类电源发电出力、节点边际电价、输电网阻塞和负荷购电成本等物理和经济性指标。将发电系统中的发电机组设置为智能体，机组的学习和决策行为建模为部分观测马尔科夫决策过程。通过优化模型参数和调整智能体行为来观察火电机组的交易策略和收益情况，进而观察市场总体变化。
图 1智能体与电力市场出清模型交互流程
Fig.1Flowchart of the agent interacting with the electricity market clearing model
2 电力现货市场建模
2.1 安全约束机组组合模型
安全约束机组组合模型以系统发电成本最小为目标，即
3 火电机组智能体模型
3.1 火电机组行为建模
4 算例分析
本文使用Python语言构建上述模型，采用Cplex求解器求解市场出清模型，采用Pytorch库搭建DDPG强化学习算法。
市场出清规则中，基于发电侧报量报价、系统负荷预测以及运行日电网运行边界条件，每小时为一个出清时段，对运行日的24个时段统一出清。市场出清模型中供给曲线由发电侧申报形成。火电机组申报三段非递减阶梯式价格以及对应发电量区间，在仿真模型中作为输入数据，其策略空间为该分段函数的1.0~1.5倍；风电、光伏报价设置为最低100元/(MW·h)；市场出清价格上限为1500元/(MW·h)。
4.1 场景设计
本文基于HRP-38节点系统自带数据，该系统包括38个节点、164条输电线路、44台火电机组、52台光伏机组和34台风电机组，其电源形态具备“高比例”可再生能源的特征，拓扑结构、机组装机及相关参数见文献[31]。
1）场景设置。
算例整体场景设置如表1所示。
场景0作为基础情景，根据全年8760 h数据，将系统新能源渗透率划分为40%~45%、55%~60%、65%~70%以及80%以上共4类场景，各场景分别拓展到1500天数据进行训练。用电负荷及风电、光伏出力均采用原始模拟数据作为预测值且根据目前实际水平设置预测误差。
场景1在基础情景上，考虑源侧不确定性下降。
场景2在场景0的基础上，每节点配置2 h独立储能，储能容量按照该节点15%风电机组容量、10%光伏发电机组容量计算加总。设置储能固定参数如下：模拟时间内起始和结束时段SOC均为30%，充、放电效率为92%，申报充电价格为150元/(MW·h)，放电价格为300元/(MW·h)。
2）智能体机组选择。
本文根据节点本身机组配置、周边区域各能源机组配置、输电线路容量配置等因素，选取了如表2所示4个典型节点进行分析。接入这4个节点的共计11台火电机组将作为智能体进行战略投标，表3展示了其运行参数。系统中的其余火电机组按照数据默认参数设置，投标按照边际成本曲线。
4.2 场景分析
考虑仿真结果的可信度，以下结果分析选用了从电力市场业务角度和模型计算角度均合理有效的实验结果共30次的均值。
4.2.1 场景0分析
以24 h节点负荷及节点电价作为状态信息进行训练，得到场景0中各智能体奖励曲线如图3所示。其中，场景0.3和0.4结果类似，故略去场景0.3对应图。收敛结果如表4所示，表中最佳报价为边际成本价倍数。各机组利润如表5所示，强化学习前后的结果分别对应标记为1、2。
图 3机组奖励曲线
Fig.3Units reward curve
注：表内数值为边际成本报价的倍数。
1）节点6。
节点6接入了6台火电和1台风机。根据仿真结果，随着新能源渗透率升高，节点6净流入电量增多，火电发电空间下降，6台火电不仅彼此之间凭借成本优势竞争，还与周围节点机组竞争。节点6强化学习前后出清电价的对比以及节点6接入的火电机组的出力结果对比如图4所示。图5为强化学习后输电线路潮流，纵轴正向电量表示流出。其中，场景0.3和0.4结果类似，故场景0.3对应图未列出。
图 4 节点6场景0优化结果
Fig.4 Optimization results of scenario 0 of bus 6
图 5 节点6输电线路潮流
Fig.5 Bus 6 transmission line power flow
场景0.1中，节点6在中午时段有电量净流入，其余时段电量净流出。18:00之后6台火电机组均开机，报价低的机组最多增发电量到第2段发电区间。中午时段新能源未完全消纳，火电机组挤占了新能源发电空间，有调峰缺口。强化学习后第一段报价较低的4台火电机组提高报价且到最高倍数，导致晚高峰时期节点电价有显著提高。上述现象说明当新能源发电量低时，系统对火电机组需求较大，按照满足晚高峰负荷的条件安排火电机组的最小开停机时间，火电作为晚高峰边际机组拥有提高报价的动机和提高报价后仍被调度的条件。
场景0.2中，节点6在大部分时段为电量净流入。强化学习后火电27、29提高报价的同时减少发电量，利润提升。例如火电27在中午节点电价低时段不发电减少亏损，晚高峰作为边际机组抬高节点电价增大收益。
场景0.4中，节点6全时段电量净流入，节点电价100元/(MW·h)的时段继续扩大。火电26和火电39为满足节点6剩余负荷而维持最小技术出力，但该机组与其他节点的机组相比竞争空间小，强化学习后策略为保持最低成本报价。
2）节点12。
节点12接入了5台风机和1台火电，其周围5个节点接入大量新能源机组，因此节点12唯一的一台火电44仅在新能源渗透率较低而负荷高峰时段运行保供。在场景0.1中，在晚高峰供需紧张时提高报价至1.21倍，其余场景中即使以边际成本报价也未能中标，优化结果如图6所示。
图 6 节点12场景0.1优化结果
Fig.6 Optimization results of scenario 0.1 of bus 12
3）节点15。
节点15接入了3台火电以及1台光伏，因光伏仅白天发电的出力特性，3台火电有大量出力空间。根据仿真结果，节点15在不同场景中全时段电量净流出，火电0、1、2在该节点及其周边区域有较大竞争力。节点15出清电价的对比以及节点15接入的火电机组在情景0强化学习前后的出力结果对比如图7所示。其中，场景0.3和0.4结果类似，故场景0.3对应图未列出。
图 7 节点15情景0优化结果
Fig.7 Optimization results of scenario 0 of bus 15
场景0.1中，强化学习后火电0提价幅度低于其他机组，经验证，其后两段报价为3台机组最低且全时段均未作为边际机组，由此保证发电量前提下的最高报价即为最佳报价。火电1、2均提高报价至最大倍数，因其在00:00—09:00作为边际机组，抬高节点电价同时减少发电量可提高利润。晚高峰19:00—21:00时节点出清电价与本节点机组报价无关，因负荷需求大，发电资源紧张，3台机组已达满发状态，需要调度其他节点火电机组发电。
场景0.2中，火电1和2分别作为上午和晚高峰的边际机组，强化学习后报价提高幅度较小，只将报价提高到下一调度电量区间的报价。原因是此时周边区域存在未被调度机组，本节点火电机组边际电量区间的报价只能提高至其他节点火电机组未被调度电量区间的报价水平。
场景0.4中，节点15全时段电量净流出，强化学习后3台机组均提高报价，在中午新能源大发时段仍维持最小技术出力，说明3台火电机组在周边节点区域的机组中有较大竞争力。
分析这3台机组在所有场景中均能高报价的原因，除了物理拓扑结构和成本优势起到重要作用外，火电机组之间形成了隐性共谋。在新能源渗透率越高、火电机组发电份额越低即发电份额竞争越激烈的情况下，经过对1500次彼此隐瞒信息的重复竞争的经验学习，最终形成了类市场均衡解，各火电机组达成提高报价的共识。
4）节点28。
节点28仅接入1台火电。根据仿真结果，节点28在不同场景中均为电量净流入，火电3虽然没有成本优势，但由于输电线路限制以及周围节点新能源资源较少等位置优势，有较大竞争力。节点28出清电价的对比以及节点28接入的火电机组在场景0强化学习前后的出力结果对比如图8所示。其中，场景0.3和0.4结果类似，故场景0.3图未列出。
图 8 节点28场景0优化结果
Fig.8 Optimization results of scenario 0 of bus 28
在场景0.1中，00:00—09:00因为输电线路容量限制低价电无法输送，所以强化学习后火电3作为边际机组报价达到最大倍数，其发电量维持在第2段电量区间；中午电价低于发电成本时段不发电；晚高峰时段发电资源紧张，火电3满发并且节点出清电价远高于其报价，说明此时火电3不是边际机组，制约其报价的时段为00:00—09:00。
场景0.2、0.3和0.4中，输电线路的限制导致火电3可以保持高报价。场景0.4中报价比0.2更高，这是因为新能源渗透率的增大使得系统不确定性的增大，在输电线路容量有限制的情况下，火电3作为节点28唯一的火电机组需要保证满足负荷。
4.2.2 场景1分析
与场景0相比，新能源出力预测精度提升后系统不确定性下降，火电机组投标风险下降，可获得相对稳定利润，在每次迭代中能够有效学习，各机组强化学习收敛速度加快，利润值波动范围缩小。
场景1机组最佳报价如表6所示，与场景0中新能源渗透率相同的场景相比，大容量火电机组策略没有大幅变动，而火电0的报价策略更加保守。为验证其结果，将各节点容量大于3000 MW的火电机组按照原参数拆分为500 MW及1000 MW小容量机组独立参与市场，小机组的启停成本按照容量比例的1.1倍分摊，生产技术参数、三段报价保持不变。增设预测误差为25%、20%的新场景。
注：表内数值为边际成本报价的倍数。
随着实验中预测误差逐步增大，强化学习中小容量机组（以下简称小机组）的奖励曲线收敛变慢。分析小机组训练中1500次出清结果，当系统不确定性越大时，小机组选择保守策略并不能保证利润，反而选择激进报价策略时获得加权平均利润越大的概率越大。
小机组的这种投标模式导致生产效率的进一步损失。在小机组造成的效率损失中，相比场景0中所述的因追求利润最大化时使用市场权力而造成的效率损失，占比更大的是由各机组的投标策略结果无法与预期利润最大化行为相一致而造成的效率损失。因此合并小机组可以改善生产效率低下的市场表现。
4.2.3 场景2分析
在各节点按照新能源装机比例配置储能后，进一步分析各火电机组报价策略。表7、8分别展示各机组最佳报价和利润。相比场景0和1各场景，场景2的各数据均大幅度降低，各火电机组报价趋于保守，节点12、15、28的晚高峰节点电价降幅均在50%左右。
注：表内数值为边际成本报价的倍数。
节点6和15的储能设备实现至少两充两放，与此对应火电机组发电空间进一步缩减。节点6各火电机组强化学习后报价仅在新能源渗透率较低的场景2.1中稍有上升，而此时由于各机组之间竞争大，报价上升幅度局限于各机组报价的差价区间。其余场景均降至成本价。场景2.3和2.4中强化学习前全时段节点电价低于火电最低成本价，此时全时段边际电量由储能提供；强化学习后晚高峰时期节点电价提升至火电26的报价，此时火电26成为边际机组。
节点15由于配置储能使得发电资源紧张问题在一定程度上得到缓解，3台火电机组的竞争力也因此被部分削弱。然而由各场景报价和利润可知，这3台机组在系统中仍具备强市场力。
除火电机组整体利润下降之外，所有现象的分析与场景0保持一致。
5 结论
本文基于ABMS框架，建立多类型电力现货市场交易仿真模型，将火电机组建模为智能体，为火电机组提供了探究其利润最大化投标策略的方法流程。以HRP-38节点为例研究不同新能源渗透率下火电机组投标策略，得出如下结论。
1）对于单个火电机组，影响其投标策略的因素包括自身技术参数及成本、发电侧其他竞争对手的出力和成本（边际报价）、输电线路传输容量、负荷侧的电力需求等。考虑上述因素对市场出清电价影响，制定具体机组的投标策略。
一般来说，当自身成本相比同节点其他火电机组较低、新能源机组出力未能覆盖负荷需求、输电线路容量存在阻塞等情况下，在中标的前提下，非边际机组在保证发电量的条件下提高报价，而边际机组倾向于提高报价且有部分机组会采取减少发电量作为最后一段报价博弈策略。
随着新能源渗透率的增大，系统中火电机组总体盈利空间逐步缩减，部分火电机组参与电能量市场不能获利，仅少数火电机组凭借成本和节点位置优势在竞争中能够提高报价并中标。
在相同的新能源渗透率场景下，新能源出力的预测误差越大，火电机组外部环境感知的不确定性越大，因此投标策略学习过程变慢。
在系统内配置储能虽然进一步缩减了火电机组的发电份额和盈利空间，但是因储能平抑了新能源不确定性，火电机组投标策略学习进度较快。
2）火电机组存在“隐性共谋”现象。在机组彼此信息不互通的假设条件下，当新能源渗透率较低时，因系统对火电的需求大，大部分火电机组选择提升报价的策略，而且利润上升幅度大。此时参与该市场的火电机组多且行为存在差异性，“隐性共谋”现象存在但不甚明显。随着新能源渗透率的增大，一部分火电机组不再参与上述市场，剩余的少部分火电机组凭借其优势共同选择提高报价，此时“隐性共谋”现象凸显。
3）对于电力市场表现，各火电机组追求利润最大化时提高报价使得系统没有达成最低生产成本，造成了电力市场生产效率损失，具体表现为低成本机组报价高于出清价格时不会中标，高成本机组报价低于出清价格时也不会减少生产。相对而言容量较小的火电机组的激进报价模式增大了各机组竞价的不确定性，使得各机组的投标策略结果无法与预期的利润最大化行为相一致，可能导致生产效率进一步损失。
本文只考虑了现货电能量市场，未考虑多级电力市场。下一步将进行新能源高渗透率下各电源类型参与多级电力市场的报价策略研究。
