根据当前的状态、状态转换方程、折现率和表中的奖励信息选择收益最大化的动作。当选择结束后，学习主体根据动作函数釆取了新的行动，达到了新的状态，系统会反馈新的效益值，此时学习主体先将新的效益值与对应的状态和动作记录在。表中，然后进行新的一轮基于效益值的学习过程。
通过这样的方式，学习主体可以通过“状态一动作一奖励”之间多回合的循环，不断更新自己对环境的认识，合理化自己的行为。在。强化学习算法的决策模型中，每个参与电力市场竞价的主体，都有一个自己的表，包含自己的行动函数。在实际电力市场竞价中，Q-Leaming强化学习算法的“效益值”即为各主体通过竞价获得的利润。
各主体在多次竞价中，通过结合自己的报价方式，响应电力市场的反馈，不断获取新的学习材料，在动态的电力市场竞价中，获得收益最大化的可行解集。在基于强化学习算法建立抽水蓄能竞价模型时，首先对如下概念对应关系进行说明：交易周期：在Q-Leaming强化学习算法中，各学习主体每次的循环学习周期即为电力市场的交易出清周期。
算法中个学习主体在每个循环周期获得学习材料，电力市场中的发电厂商也是在每次出清后调整自己的报价。由于新能源发电的特性是固定成本大，边际成本小，且难以确定。同时由于新能源机组产生的电能较传统化石能源更为清洁，也为了对应国家“碳中和”，鼓励新能源机组应发尽发，因此将新能源竞价模型作简便计算，将含新能源的电力系统的竞价模型中利润的目标函数，不考虑边际成本因素，即简化为新能源收入即利润。
由于抽水蓄能电站在不同工况进行转变的，这是一个“电能一一势能一一电能”的转换过程，伴随着较大的能量损耗。抽水蓄能电站的损耗受多个工序的影响，主要包括购电抽水时水泵机、发电时电动机的损耗，输送水、电通道的损耗，以及受自然条件影响，上游水库水量蒸发的损耗。为便于计算，避免频繁考虑损耗转换问题，对传统的优化方法进行改进，将所有损耗视为在抽水时段产生的，即存储的能量可以全部释放出。
以此可将原本非线性的离散规划，通过引入损耗系数，将其转变成两次迭代的线性的二次规划，结合仿真电力市场，构建了抽水蓄能电站参与电能量现货市场的“三阶段”竞价模型，提高了精确度的同时，降低了计算难度。将抽水蓄能电站参与电能量现货市场竞争模型划分为三个阶段：第一阶段基于预估的未来市场供需关系预测市场的出清价格，结合抽水蓄能电站机组出力约束和蓄能能力约束，将离散型规划转化成二次规划问题，初步确定抽放水时段的集合；
第二阶段在抽水阶段引入“损耗系数”，即抽水蓄能电站综合效率，再一次迭代应用二次规划算法，最终确定抽放水的购售电量；第三阶段将抽水蓄能电站引入多主体、多种电源类型的电能量现货市场中参与竞争，基于强化学习算法，得到最终竞价策略，并将该时段结果反馈，作为下一时段参与电能量市场竞价的学习材料。第一阶段一抽水蓄能电站抽放水时段的确定抽水蓄能电站是一种的特殊电力系统调节工具。
既可以作为电力用户，此时抽水蓄能电站通过水泵机在电力系统中提供负荷。构建一个多主体、多电源类型的电能量市场，其中抽水蓄能电站是一个有学习能力的智能体，输入抽水蓄能电站的初试状态以及结合技术经济约束条件，输入竞价行动函数，通过在仿电力市场中不断学习竞价，不断优化自己报价的寻优方向，抽水蓄能电站在回报的激励下，会对其自身的价格策略进行调整。
当抽水蓄能中标时获得正激励，调整系数大于1,则会适当提高报价。因此构建的“抽蓄一新能源”联合竞价模型的目标函数可视为两层：联合体外层，通过联合体的统一运营、竞价，参与电能量现货市场，获得整体的最大利润；联合体内层，通过抽水蓄能电站与新能源发电站之间达成的协议，进行利益的二次分配。与竞价联合体双层目标对应的，参与联合竞价的抽水蓄能电站和新能源发电站的竞价策略，也包含两种含义，即联合体整体对外的报价策略，以及联合体内抽水蓄能电站和新能源发电站之间的内部协议。
综上所述，“抽蓄一新能源”联合竞价模型的两个层次，该模型的目标函数以及约束条件的设定也需要内外两个层次分别进行。“抽水蓄能一新能源”竞价联合体对外竞争，对内则合作与竞争博弈共存。除共同参与电力市场合作竞价之外，在内部还存在双方的博弈行为，新能源电站希望抽水蓄能电站以更低的价格为自己提供可协调容量，而抽水蓄能电站则希望提高价格。
相比于外层模型，联合竞价内层模型的目标函数不再单单是总利润的最大化，而需要在保证各主体相较于其单独竞价，获得更高的利润之外，寻求内部利润均衡的二次分配，因此有约束条件。量化分析了以风力发电和光伏发电为代表的新能源电站的技术经济约束条件，以及参与电力市场的目标函数。
认为受自然条件的约束，新能源电站出力具有波动性，而电能量市场对于并网机组的出力稳定性有着严格的要求。因此新能源电站参与电能量市场竞价时，电力市场对产生波动的新能源电站的偏差考核，将是构成新能源电站成本的重要组成部分。由于抽水蓄能电站在电能量市场中的双重身份，是通过抽水、放水的不同工况进行转变的，这是一个“电能——势能一一电能”的转换过程，伴随着较大的能量损耗。
相较于传统模型，将抽水蓄能电站竞价模型中引入了“损耗系数”，将其由原本复杂的多变量离散非线性问题，通过两次迭代，转化为了近似线性的混合整数规划问题，结合仿真电力市场，构建了抽水蓄能电站参与电能量现货市场的“三阶段”竞价模型。算例的参数设定包括电力市场机制参数、参与竞价的市场主体参数以及各竞价主体的行为预测。为简便计算，计算周期为24小时。
以我国某典型地区电能量现货市场建设现状为参考，同时为了简化计算，对部分参数做了简单化、理想化处理，如下：交易模式：双边-集中撮合式交易；出清机制：日内市场以一天24小时为周期，每一个小时出清一次，并釆用边际价格为统一出清价格，实时滚动出清；报价报量方式：供给侧“报价报量”，即每个交易时段不但上报出力曲线还要上报单位报价，若电力市场出清价高于报价则中标，若出清价低于报价则流标。
需求侧“报量不报价”，即每个交易时段只上报自己的需求，购电价格跟随市场出清结果，以电力市场最终的统一边际出清价格结算；电力市场竞价主体参数建立了一个模拟电能量现货市场，包含有主要的火力发电、水力发电、风力发电、核电、光伏发电、抽水蓄能在内的主要发电机组类型。各类型发电机组装机容量占比的设置参照我国华东地区全类型发电装机容量结构，能够更具有现实的指导意义。
其中共包含10个火力发电供应商，2个水力发电供应商，2个风力发电供应商，2个核电供应商，1个光伏发电供应商，1个抽水蓄能电站。抽水蓄能电站以位于浙江省的天荒坪抽水蓄能电站为例，最大库容折算电量10460MWh,装机容量1800MW,综合效率75%。所有市场主体共三种报价方式，分别为火电机组和抽水蓄能电站的“成本+20%利润率”固定报价方式和“成本+10%利润率”的学习型报价方式，以及新能源机组的最低报价方式。
各种竞价方式的含义以及各市场主体的选择依据说明如下：“成本+20%收益率”固定报价方式：边际成本，即报价仅根据成本和既定收益率，无需依据市场情形实时调整。由于装机容量较小的火电机组运行更为灵活，因此采用较为激进的高利润率报价方式。同时由于缺乏市场力，竞价行为对市场的影响较小，因此小容量火电机组更多的作为市场价格的接受者，釆用简单的固定报价方式。
“成本+10%利润率”的学习型报价方式：最低边际成本，并依据市场出清结果不断尝试提高报价的方式。这种方式适合装机容量较大的火电机组以及抽水蓄能电站，由于流标风险损失较大，因此保底收益率不宜过高。同时由于装机容量较大，具有较强的市场力，可釆用“学习型”方式，通过不断地学习市场出清结果，调整自己的报价，依此获得更高的收益。
最低报价方式：一种追求高中标率的方式，按照市场最低限价报价。由于新能源机组边际成本很低，尤其风电和光伏机组，流标会造成极大的资源浪费，因此新能源机组要做到“应发尽发”。因此为了保证自身的中标率，一般采用价格很低的报价方式。在中国电力市场的实践中，新能源机组也通常这样做，将自己作为价格的接受者。当不考虑损耗的时候，抽水蓄能电站要实现效益最大，在价格差很小的情况下依然会抽水购电、放水发电。
因此第二阶段在抽水阶段须引入损耗系数，作为一种“惩罚"，选择在价格差足够大，能够弥补损耗的电能的时段进行抽水购电和放水发电。当交易量为负值时，代表抽水蓄能电站抽水购电，此时仅报量不报价，因此报价曲线值为零。当交易量为正值时，代表抽水蓄能电站放水售电，此时既报量也报价，因此报价曲线值不为零。此时抽水蓄能电站的最终日期望利润约为194万元。
