完全抑制高纵横比椭圆柱体的漩涡脱落，通过深度强化学习驱动的流动控制

Concepts de base

通过利用人工神经网络的高维非线性映射能力和强化学习的强大控制机制，实现对不同纵横比椭圆柱体合成喷流流率的实时精确调节，以达到有效、稳定和节能的流动控制目标。

Résumé

本研究利用深度强化学习与合成喷流技术控制不同纵横比(Ar = 1, 0.75, 0.5, 0.25, 0.1)的椭圆柱体的流动。

对于Ar = 1和0.75的椭圆柱体，强化学习训练的奖励函数逐渐增加并稳定下来，控制策略实现了8%和15%的阻力降低，同时有效抑制了99%的升力系数。值得强调的是，仅需0.1%和1%的进口流量就可以完全消除漩涡脱落。

随着Ar降低，强化学习训练过程变得更慢且不稳定，能耗上升到14.5%,而升力和阻力系数仍在振荡,无法完全控制漩涡脱落。

当阻塞比降低到0.12时,强化学习训练表现出稳健的收敛性和一致的完全抑制漩涡脱落,Ar从1到0.1的所有情况下都如此。此外,阻力降低率在6.1%到32.3%之间,升力系数有效调节为零。对于Ar在1到0.25之间的柱体,外部能耗低于进口流量的1.4%,实现了高效和节能的控制策略。但对于Ar=0.1的极度细长椭圆柱,能耗上升到8.1%,突出了这种高纵横比几何形状所需的显著更高的能耗。

这种基于深度强化学习的策略在各种几何构型中的有效性为未来研究铺平了道路,特别是在将这些方法应用于更复杂的流动环境以及集成自适应控制机制以进一步提高稳健性和操作效率方面。

Stats

通过控制,对于Ar=1的椭圆柱体,阻力系数降低8%,升力系数有效抑制99%。
对于Ar=0.75的椭圆柱体,阻力系数降低15%,升力系数有效抑制99%。
当阻塞比降低到0.12时,阻力降低率在6.1%到32.3%之间,升力系数有效调节为零。
对于Ar在1到0.25之间的柱体,外部能耗低于进口流量的1.4%。
对于Ar=0.1的极度细长椭圆柱,能耗上升到8.1%。

Citations

仅需0.1%和1%的进口流量就可以完全消除Ar=1和0.75椭圆柱体的漩涡脱落。
当阻塞比降低到0.12时,强化学习训练表现出稳健的收敛性和一致的完全抑制漩涡脱落,Ar从1到0.1的所有情况下都如此。

Idées clés tirées de

Complete vortex shedding suppression in highly slender elliptical cylinders through deep reinforcement learning-driven flow control

by Wang Jia, Ha... à arxiv.org 10-02-2024

https://arxiv.org/pdf/2410.00421.pdf

Questions plus approfondies

如何将这种基于深度强化学习的流动控制策略应用于更复杂的三维流动环境?

要将基于深度强化学习（DRL）的流动控制策略应用于更复杂的三维流动环境，首先需要扩展当前的二维模型，以考虑三维流动的复杂性。这可以通过以下几个步骤实现：

三维数值模拟：使用先进的计算流体动力学（CFD）软件，如OpenFOAM，进行三维流动的数值模拟。三维模型能够捕捉到更复杂的流动特征，例如涡旋的三维结构和流动分离现象。

状态空间的扩展：在三维环境中，状态空间需要包含更多的流动特征，例如在不同高度和位置的速度、压力和涡量等信息。这可以通过在三维空间中布置多个探针来实现，以获取更全面的流动数据。

动作空间的设计：在三维流动中，控制策略可能需要调整多个喷流的参数，包括喷流的方向、强度和频率。因此，动作空间的设计应考虑这些多维控制变量，以实现更精确的流动调节。

奖励函数的优化：在复杂的三维流动环境中，奖励函数应综合考虑流动控制的多个目标，例如降低阻力、抑制涡旋和能耗等。通过引入多目标优化的奖励机制，可以更好地平衡控制性能与能耗之间的关系。

适应性控制机制：在动态和不稳定的三维流动环境中，控制策略需要具备适应性。可以通过在线学习和自适应算法，使DRL模型能够实时调整控制策略，以应对流动条件的变化。

通过以上步骤，基于深度强化学习的流动控制策略可以有效地应用于更复杂的三维流动环境，从而实现更高效的流动控制。

如何设计更有效的奖励函数,在保持控制性能的同时进一步降低能耗?

设计更有效的奖励函数以保持控制性能并降低能耗，可以考虑以下几个方面：

多目标奖励机制：奖励函数应同时考虑多个目标，例如降低阻力、抑制涡旋和减少能耗。可以通过加权组合这些目标，形成一个综合的奖励函数。例如，奖励函数可以设计为：
[
r_t = w_1 \cdot (\langle C_D \rangle_{T_0} - \langle C_D \rangle_{T}) - w_2 \cdot |\langle C_L \rangle_{T}| - w_3 \cdot E
]
其中，(E)表示能耗，(w_1)、(w_2)和(w_3)是权重系数，反映了各目标的重要性。

动态调整权重：根据实时流动状态和控制效果，动态调整奖励函数中的权重系数。例如，当流动状态不稳定时，可以增加对涡旋抑制的奖励权重，而在流动稳定时，则可以强调能耗的降低。

引入能耗惩罚项：在奖励函数中引入能耗的惩罚项，以鼓励控制策略在实现流动调节的同时，尽量减少能量的消耗。这可以通过对控制动作的频率和强度进行惩罚来实现。

基于物理的奖励设计：结合流动的物理特性，设计奖励函数。例如，可以根据流动场的能量分布和涡旋强度来调整奖励，确保控制策略不仅关注瞬时性能，还考虑流动的长期稳定性。

通过这些方法，可以设计出更有效的奖励函数，在保持流动控制性能的同时，进一步降低能耗，从而实现更高效的流动控制策略。

这种流动控制技术在其他工程应用中,如航空航天、海洋工程等领域,是否也能发挥同样的作用?

这种基于深度强化学习的流动控制技术在航空航天、海洋工程等领域同样具有广泛的应用潜力，具体体现在以下几个方面：

航空航天领域：在航空器设计中，流动控制技术可以用于优化机翼和机身的气动特性，减少阻力和提升升力。例如，通过在机翼表面应用合成喷流，可以有效抑制流动分离，改善升力特性，从而提高飞行效率和安全性。

海洋工程：在海洋工程中，流动控制技术可以应用于船舶设计，以减少水阻力和提高燃油效率。此外，在海洋结构物（如海上风电平台）的设计中，流动控制可以帮助减小波浪和水流对结构的影响，增强其稳定性和安全性。

风力发电：在风力发电领域，流动控制技术可以用于优化风机叶片的气动性能，提升能量捕获效率。通过实时调节叶片的角度和形状，可以有效应对风速变化，提高发电效率。

环境保护：在环境工程中，流动控制技术可以用于改善污染物扩散的控制，通过调节流动场来减少污染物的扩散范围，从而保护生态环境。

综上所述，基于深度强化学习的流动控制技术在多个工程应用领域中都能发挥重要作用，通过优化流动特性和提高能效，推动相关行业的可持续发展。