2024先进动力系统智能控制国际集训营第一讲——从控制理论到强化学习

2024年8月1日，由中国内燃机学会主办，中国内燃机学会内燃动力智能技术分会、天津大学先进内燃动力全国重点实验室共同承办的2024先进动力系统智能控制国际集训营第一讲顺利结束。本次讲座的主题是“从动态控制到强化学习”，由大连理工大学控制科学与工程学院申铁龍教授主讲。申铁龍教授是控制科学与工程领域的权威专家，现任大连理工大学控制科学与工程学院特聘教授，同时也是日本上智大学名誉教授、千叶大学下一代汽车动力技术研究中心客座教授。主要研究领域为动力学系统控制理论及其在机电系统、汽车动力系统中的应用。曾担任国际自动控制联盟(IFAC)第6届、第7届发动机/动力链控制、建模及仿真大会(IFAC ECOMS 2021)的大会主席，以及担任包括欧洲控制会议、IFAC、IEEE及中日多个学术会议的协主席与国际程序委员会主席。同时与丰田汽车公司以及其他日本汽车企业保持长期产学合作研究，主要致力于开发汽车动力系统优化控制策略的设计方法与理论。本节讲座由内燃动力智能技术分会秘书长、天津大学宋康副教授主持。

此次讲座中，申铁龙教授深入浅出地介绍了从动态控制到强化学习的发展历程及其前沿应用。申教授首先从车辆动力机械化的历史讲起，系统地回顾了从古罗马时代到现代汽车工业的发展进程。他强调了机械化和电气化在车辆动力控制中的重要性，深入分析了内燃机、电动机和混合动力系统在不同发展阶段的应用与挑战。

申教授通过多个历史实例，展示了动力系统的发展脉络。例如，他提到在3000年前的伊朗博物馆中展出的古代车辆，以及中国湖北遗迹中的楚王车马阵，这些都是车辆早期发展的重要证据。他进一步介绍了蒸汽机、内燃机和电动汽车的演进历程，指出电动汽车并不是新事物，而是在历史上曾多次出现并被广泛应用。

在讲述控制理论时，申教授从古典控制理论谈起，介绍了频域分析方法和状态空间理论的基本概念。他详细阐述了控制理论在系统稳定性、可控性和可观测性分析中的重要作用，并引用了卡尔曼滤波器在状态估计中的实际应用案例，强调其在航空航天和经济系统中的广泛应用。

申教授深入探讨了动力系统控制中的经典问题，如内燃机和电动机在混合动力系统中的协同工作机制。他解释了在混合动力系统中，如何通过控制算法优化发动机和电动机的工作模式，以实现最佳的能量利用效率。申教授特别指出，动力系统的控制设计不仅需要考虑单个元件的优化，还需关注系统的整体协调和动态性能。他举例说明，在实际应用中，控制系统需要在不同的工作条件下动态调整参数，以应对环境变化和负载波动。

在强化学习部分，申教授详细介绍了强化学习在车辆动力系统优化中的最新研究进展。他深入讲解了Q学习、策略迭代和值迭代等算法的基本原理，并通过实例展示了这些算法在动力系统优化中的具体应用效果。例如，在无人驾驶车辆的能量管理系统中，强化学习算法能够根据实时数据不断调整控制策略，以实现燃油效率和行驶性能的最优平衡。

申教授特别强调了贝尔曼最优性原理在强化学习中的重要作用。他解释道，贝尔曼最优性原理通过将复杂的优化问题分解为一系列较小的子问题，使得强化学习算法能够在不断迭代中逐步逼近最优解。申教授指出，理解这一原理是进行有效算法设计的关键，并展示了利用强化学习优化车辆控制系统的具体案例，详细说明了算法在实际应用中的步骤和效果。

申教授还探讨了强化学习与传统控制理论的结合应用。他指出，虽然传统控制理论在许多工程应用中取得了成功，但在处理复杂动态系统和不确定性问题时存在局限性。通过引入强化学习，可以在传统控制策略的基础上，利用实时数据进行动态优化和调整，提升系统的鲁棒性和适应性。

申教授通过多个实际案例，展示了强化学习和控制理论在汽车动力系统中的成功应用。例如，他介绍了一种新型的混合动力控制系统，该系统利用强化学习算法，在不同驾驶条件下动态调整发动机和电动机的工作模式，从而显著提高了燃油效率和驾驶性能。申教授还提到，随着人工智能技术的不断进步，未来将有更多的智能控制算法应用于车辆动力系统中，推动汽车工业的进一步发展。

讲座结束后，申铁龙教授与参会学员进行了热烈的互动和讨论。他强调，理论创新是推动技术进步的核心动力，而实践探索则是验证和完善理论的关键途径。申教授希望通过此次讲座，能够激发学员们在动力系统控制和优化领域的研究热情和创新思维。

据悉，本届集训营邀请了来自天津大学、大连理工大学、东南大学、同济大学、合肥工业大学等8所高校和中国科学院数学与应用科学研究院、艾迪捷信息科技(上海)有限公司等5家企业及研究院所的14位授课教师，围绕控制优化及学习算法的基础理论、多种类型动力系统的控制应用、控制系统开发测试的工具链3个层面开展专项培训。来自清华大学、同济大学、北京理工大学、哈尔滨工业大学、大连理工大学、北京交通大学、广西大学、武汉理工大学、哈尔滨工程大学、燕山大学、大连民族大学、浙江大学城市学院等12所高校和潍柴、玉柴、中国重汽、中国北方发动机研究所、康明斯、长安汽车、中国汽研、洛拖所、中科华盈等9家企业及研究院所的52名科研和技术人员报名参加。