近日，由密歇根大学研究人员领导的一项研究取得新进展，相关成果发表于《能源转换与管理：X》杂志。该研究利用机器学习方法，借助核微反应堆对称性来减少建模功率输出调整时的训练时间，为核微反应堆的自动化控制带来新希望。

提高训练效率意义重大，有助于研究人员更快地对反应堆进行建模，向实时自动化核微反应堆控制迈进了一步。这种自动化控制对于在偏远地区或未来在太空中运行核微反应堆至关重要。

核微反应堆作为紧凑型反应堆，能产生高达20兆瓦的热能，可直接作为热能使用或转化为电能，且易于运输。它甚至有可能应用于需要长途航行而无需加注燃料的货船。若并入电网，在太阳能或风能等可再生能源匮乏时，核微反应堆可提供稳定、无碳的能源。此外，小型反应堆避免了大型反应堆所需的巨额投资，而微反应堆功率输出控制的部分自动化将进一步降低成本。在太空应用中，如直接推动航天器或为其系统供电，核微反应堆需完全自主运行。

研究人员将模拟负荷跟踪作为迈向自动化的第一步。负荷跟踪即发电厂根据电网电力需求增加或减少发电量，与反应堆启动相比，其建模相对简单，因为反应堆启动包含难以预测的快速变化条件。

本研究模拟的Holos - Quad微反应堆设计通过八个控制鼓的位置来调节功率。这些控制鼓围绕反应堆中心核心，中子在此分裂铀原子产生能量。控制鼓圆周一侧衬有中子吸收材料——碳化硼。当控制鼓向内旋转时，会吸收来自堆芯的中子，导致中子数量和功率下降;向外旋转则可将更多中子保留在堆芯中，增加功率输出。

密歇根大学核工程与放射科学助理教授、该研究资深作者Majdi Radaideh表示，深度强化学习建立了系统动力学模型，可实现实时控制，而传统方法如模型预测控制，因需重复优化往往难以实现实时控制。

研究团队基于反应堆反馈，通过控制鼓旋转模拟负载跟踪，并运用强化学习技术。强化学习是一种机器学习范式，智能体通过反复试错与环境交互做出决策。然而，深度强化学习虽有效，但需大量训练，会增加计算时间和成本。

为此，研究人员首次测试了一种多智能体强化学习方法。该方法训练八个独立智能体控制特定鼓，同时共享整个核心的信息，利用微反应器的对称性增加学习经验，帮助缩短训练时间。

该研究对多智能体强化学习与另外两种模型进行了评估。一是单智能体方法，单个智能体观察核心状态并控制所有八个鼓;二是行业标准的比例积分微分(PID)控制，使用基于反馈的控制回路。

结果显示，强化学习方法实现了与PID相似甚至更优的负载跟踪效果。在传感器读数不准确或反应堆状态波动的不完美场景下，强化学习能保持比PID更低的错误率，同时控制成本降低高达150%，即能以更少的努力找到解决方案。多智能体方法的训练速度至少是单智能体方法的两倍，错误率仅略高一些。

虽然该技术在实际应用前需在更复杂、更现实的条件下进行广泛验证，但研究结果为自主核微反应堆的强化学习开辟了一条更有效的道路。Radaideh表示：“这项研究是迈向未来数字孪生的一步，强化学习将驱动系统行动。下一步，我们的目标是通过逆向校准和高保真模拟来闭合回路，以提高控制精度。”

更多信息：Leo Tunkle 等人，基于深度强化学习的核微反应堆瞬态与负荷跟踪控制，《能源转换与管理：X》(2025 年)