根据当前状态、状态转移方程、折现率和表中的奖励信息，选择收益最大化的行动。当选择完成后，学习主体根据动作函数采取新的动作，达到新的状态，系统会反馈新的效益值。此时，学习主体首先在中记录新的效益值以及相应的状态和动作。表，然后进行新一轮基于收益值的学习过程。
这样，学习主体就可以通过“状态、行动、回报”的多轮循环，不断更新自己对环境的认识，使自己的行为合理化。是的。在强化算法的决策模型中，电力市场竞价的每个参与者都有自己的表，包括自己的行动函数。在实际的电力市场竞价中，Q-Leaming强化学习算法的“收益值”是各主体通过竞价获得的利润。
在多次竞价中，各主体通过结合自身的竞价方式，响应电力市场的反馈，不断获取新的学习资料，从而获得动态电力市场竞价中利润最大化的可行解集。基于强化学习算法建立抽水蓄能竞价模型时，首先说明以下概念的对应关系:交易周期:在Q-Leaming强化学习算法中，每个学习主体的循环学习周期就是电力市场的交易清算周期。
在算法中，每个学习主体在每个周期获得学习资料，电力市场中的发电公司也在每次清算后调整报价。因为新能源发电的特点是固定成本高，边际成本低，难以确定。同时，由于新能源机组产生的电能比传统化石能源更清洁，为了对应国家的“碳中和”，鼓励新能源机组充分发展。因此对新能源竞价模型进行了简单的计算，将含有新能源的电力系统竞价模型中利润的目标函数简化为新能源收益，即利润，不考虑边际成本因素。
由于抽水蓄能电站是在不同的工况下进行转换，这是一个“电能-势能-电能”的转换过程，伴随着大量的能量损失。抽水蓄能电站的损失受多种过程的影响，主要包括购电抽水发电时水泵和电机的损失、水电输送渠道的损失、上游水库因自然条件造成的水分蒸发损失。为了便于计算，避免频繁考虑损失换算，对传统优化方法进行了改进，认为所有损失都是在抽水周期内产生的，即可以将储存的能量全部释放出来。
这样，通过引入网损系数，可将原非线性离散规划转化为具有两次迭代的线性二次规划，并结合电力市场模拟，构建抽水蓄能电站参与电能现货市场的“三阶段”竞价模型，提高了精度，降低了计算难度。抽水蓄能电站参与电能现货市场竞争的模型分为三个阶段:第一阶段，根据预测的未来市场供求关系预测市场出清价格，结合抽水蓄能电站的出力约束和储能容量约束，将离散规划转化为二次规划问题，初步确定抽、泄时段的集合；
第二阶段，在抽水阶段引入“损耗系数”，即抽水蓄能电站的综合效率，再次迭代应用二次规划算法，最终确定抽水的购销量；第三阶段，将抽水蓄能电站引入电能现货市场，多主体、多电源参与竞争。基于强化学习算法，得到最终的竞价策略，并将本期结果反馈，作为下一期参与电能市场竞价的学习材料。第一阶段——抽水蓄能电站抽排水期的确定——抽水蓄能电站是一种新型的专用电力系统调节工具。
抽水蓄能电站作为电力用户，通过水泵向电力系统提供负荷。建立一个多主体、多源电能市场，其中抽水蓄能电站是一个具有学习能力的主体。结合技术和经济约束，输入抽水蓄能电站的初始试验状态和竞价作用函数。通过不断学习类电市场的竞价，抽水蓄能电站会不断优化自己的竞价方向。在回报的激励下，抽水蓄能电站会调整自己的价格策略。
抽水蓄能中标，会得到正向激励，如果调整系数大于1，会适当提高报价。因此，“抽蓄一体新能源”联合竞价模式的目标函数可以看作两层:联合体外层，通过联合体的统一运营和竞价，参与电能现货市场，获得整体最大利润；内层通过抽水蓄能电站与新能源电站达成的协议，进行利益的二次分配。与投标联合体的双层次目标相对应，参与联合投标的抽水蓄能电站和新能源电站的投标策略也包括两层含义，即联合体的整体对外投标策略和联合体中抽水蓄能电站与新能源电站的内部协议。
综上所述，“抽蓄一体新能源”联合竞价模型的两个层次，模型的目标函数和约束条件的设定也需要分别在内部和外部两个层次进行。“抽水蓄能与新能源”投标联合体对外竞争，内部合作与竞争博弈并存。除了参与电力市场的合作竞价，双方之间也存在博弈行为。新能源电站希望抽水蓄能电站能以较低的价格提供自己的协调容量，抽水蓄能电站则希望提高价格。
与外部模型相比，联合投标内部模型的目标函数不再仅仅是总利润的最大化，还需要在保证各主体能够获得比其单独投标更高的利润之外，寻求内部利润平衡的二次分配，因此存在约束条件。定量分析了以风力发电和光伏发电为代表的新能源电站的技术经济约束，以及参与电力市场的目标函数。
认为新能源电站受自然条件的制约，出力是波动的，电能市场对并网机组的出力稳定性有严格要求。因此，新能源电站在电力市场参与竞价时，对电力市场波动的新能源电站的偏差评估将是新能源电站成本的重要组成部分。由于抽水蓄能电站在电能市场中的双重地位，通过抽水和放水的不同工况进行转换，是一个“电能-势能-电能”转换的过程，伴随着较大的能量损耗。
与传统模型相比，在抽水蓄能电站竞价模型中引入了“损耗系数”，通过两次迭代将原复杂的多变量离散非线性问题转化为近似线性的混合整数规划问题。结合电力市场模拟，构建了抽水蓄能电站参与电能现货市场的“三阶段”竞价模型。实例的参数设置包括电力市场机制参数、市场参与者参数和各投标参与者的行为预测。为简化计算，计算周期为24小时。
基于我国典型地区电能现货市场建设的现状，为了简化计算，对部分参数进行了简化和理想化处理，具体如下:交易方式:双边-集中撮合交易；清算机制:日内市场以一天24小时为一个周期，每小时清算一次，以边际价格为统一清算价格，可实时转出；报价方式:供给侧“报价报价”，即每个交易期不仅报产量曲线，还报单位报价。如果电力市场中的清算价格高于报价，则中标，如果清算价格低于报价，则提交报价。
需求侧“量报不报价”，即每个交易时段只报自己的需求，购电价格跟随市场清算结果，按电力市场最终统一边际清算价格结算；电力市场竞价的主要参数建立了一个模拟电能的现货市场，包括火力发电、水力发电、风力发电、核能发电、光伏发电、抽水蓄能等发电机组的主要类型。各类型发电机组装机容量比例的设定，可参考华东地区各类发电装机容量结构，更具现实指导意义。
包括10家火电供应商、2家水电供应商、2家风电供应商、2家核电供应商、1家光伏电源供应商和1家抽水蓄能电站。以浙江天荒坪抽水蓄能电站为例，该抽水蓄能电站最大库容10460MWh，装机容量1800MW，综合效率75%。所有市场主体有三种报价方式，火电机组和抽水蓄能电站为“成本+20%利润率”的固定报价方式和“成本+10%利润率”的学习报价方式，新能源机组为最低报价方式。
各种投标方式的含义和各市场主体的选择依据解释如下:“成本+20%收益率”固定报价方式:边际成本，即只根据成本和既定收益率报价，不根据市场情况实时调整。由于装机容量较小的火电机组运行更灵活，因此采用利润率较高的更激进报价。同时，由于市场力不足，竞价行为对市场影响不大，所以小容量火电机组更多的是市场价格的接受者，采用简单的固定报价。
学习“成本+10%利润率”的报价方法:边际成本最低，根据市场出清结果不断尝试改进报价。该方法适用于装机容量大的火电机组和抽水蓄能电站。由于竞价流量风险损失较大，保证收益率不宜过高。同时，由于装机容量大，市场势力强，可以通过不断学习市场出清结果，用“学习”的方法调整自己的报价，从而获得更高的利润。
最低报价法:追求高中标率的一种方式，按市场最低价报价。因为新能源机组的边际成本很低，特别是风电机组和光伏机组，流量标准会造成资源的极大浪费，所以新能源机组要“充分发展”。因此，为了保证其中标率，一般采用价格低的报价。在我国电力市场实践中，新能源机组通常也是如此，以自己为价格接受者。在不考虑损耗的情况下，抽水蓄能电站会实现效益最大化，即使差价很小，仍然会抽水购电，放水发电。
因此，在第二阶段，应在泵送阶段引入损失系数。作为一种“惩罚”，在价差大到足以弥补损失的电能时，选择抽水购电，放水发电。当交易量为负时，表示抽水蓄能电站抽水购电。此时只报成交量不报报价，所以报价曲线值为零。当交易量为正时，意味着抽水蓄能电站放水售电。此时成交量和价格都有报价，所以价格曲线值不为零。此时，抽水蓄能电站最终预期日利润约为194万元。
