利用深度学习复杂物理过程

发布的Johanna Pingel那2020年12月10日,

132次浏览(过去30天 0.喜欢| 1条评论

客人的博客:Peetak Mitra，Majid Haghshenas博士和David P. Schmidt教授

以下是在神经信息处理系统（NEURIPS）机器学习的接受文件，用于工程设计，模拟研讨会2020.这项工作是ICENET联盟的一部分，是建立与建模相关的数据驱动工具的行业资助的努力燃烧发动机。可以在iCenetCfd.com找到更多详细信息

近年来，人们对使用机器学习建模物理应用的兴趣激增。施密特教授在马萨诸塞大学阿默斯特分校的研究小组一直致力于将这些方法应用于湍流闭合、粗粒化、燃烧或为复杂物理过程建造廉价的仿真器。在本博客中，我们将介绍将主流机器学习算法应用于特定领域的当前挑战，并展示我们如何在我们感兴趣的科学应用中应对这一挑战，即与流体湍流相关的闭合建模。

当前的挑战

在设计网络和选择超参数方面的ML算法和最佳实践，已被开发用于计算机视觉、自然语言处理等应用。这些数据集的损失流形本质上与在科学数据集中观察到的损失流形有很大的不同[参见图1，以两个变量的函数产生的损失为例，通过翻译和缩放高斯分布获得，高斯分布是科学和工程中的一种常见分布]。因此,通常这些来自文献的最佳实践在科学领域的应用中翻译得很差。这样做的一些主要挑战包括用于开发机器学习算法的数据以基本方式与科学数据不同;由于科学数据通常是高维，多式联运，复杂，结构和/或稀疏[1]。目前SCIML的创新步伐还由这些规范ML / DL技术的经验探索/实验驱动和限制。为了充分利用数据的复杂性以及开发优化的ML模型，自动机器学习（Automl）用于自动化网络设计和选择最佳性能的超参数的方法是批判性的。在这项工作中，我们探讨了贝叶斯基础的自动化方法对复杂物理仿真器的效力，努力构建强大的神经网络模型。

图1所示。一个非凸损歧管，显示多个局部区域的最佳，使神经网络训练过程变得困难

我们的应用和建议的解决方案:我们感兴趣的科学应用是流体湍流，它是非线性的，非局域的，多尺度现象[仿真中典型尺度范围见图2]，是建模工程相关流(如内燃机)的重要组成部分[内燃机仿真中典型尺度范围见图2]。虽然直接数值模拟(DNS)能最准确地描述复杂现象，但DNS在计算上往往很棘手。基于Reynolds平均Navier金宝搏官方网站-Stokes (RANS)和大涡模拟(LES)的工程水平解决方案，通过在Navier-Stokes方程中引入线性算子来降低模拟的复杂性，解决了较大的积分长度尺度和较小的未解尺度的建模，从而缓解了这个问题。然而，这些模型受到湍流闭合困难的影响。在本研究中，我们证明了dnn学习LES闭包的能力，作为过滤变量的函数。

图2。该图显示了典型内燃机模拟中湍流的多尺度性质。从Dias Ribeiro等人采用的数字。[1]

Network design and optimization: In order to optimize the network architecture and identify best hyperparameter settings for this task, we use a Bayesian Optimization based autoML framework, in which the learning algorithm’s generalization performance is modeled as a sample from a Gaussian Process (GP) [For reference, Figure 3 lays out the entire workflow]. Expected Improvement is used as the acquisition function, to identify the next settings of parameters to investigate. Key learning parameters, including learning rate, drop factor, batch size, and network architecture, which have a leading order effect on the convergence, are optimized. The table below shows the ranges of parameters and the interpolation scheme used to investigate the next parameters. The code implementation in MATLAB is shown following that. The Bayesian Optimization process is run sequentially on each set of parameters. Within each optimization run, the network is trained and performance against validation data are evaluated, at the end of training.

图3所示。研究中使用的端到端工作流程。基于贝叶斯优化的自动列车方法识别最佳性能的网络设置和体系结构，然后将其集成到OpenFoam和对地面真理数据中的比较先天的和a-boundiori.环境。

为了优化网络架构，使用完全连接层中的网络块和LeaceryLu激活层。每次运行期间，使用贝叶斯优化进一步优化网络的深度和每层的神经元数）进一步优化。

结果

结果表明，虽然ADAM Glorot配置的参数数最高，但ADAM和ADAM He组合的绝对误差最高。RMPSProp的平均性能优于SGDM优化器。这可以解释为RMSProp是一种自适应学习率方法，能够在局部最优区域导航，而SGDM在峡谷导航中表现较差，并在向局部最优方向前进时犹豫不决。最佳性能模型的先验性能如图4所示。

图4所示。这先天的测试显示了数据驱动预测的性能，对地面真实的涡动粘度预测。

为了更好地理解学习过程，我们在每个历元之后的训练过程中计算权重检查点之间的余弦相似度。这项研究[如图5所示]揭示了学习过程中每一组权重初始化优化器设置的自相似性。然而，当比较不同的优化器集时，学习过程的差异是明显的。

图5所示。利用网络训练检查点的余弦相似度，可以直观地看出学习过程的演化过程。

由于神经网络权值通常是多维的，为了可视化学习过程，像t-SNE这样的降维技术在探索函数空间是有用的。从图6中可以明显看出初始化的效果，由于其数学公式的相似性，gloria和He初始化具有重叠的函数空间行为。另一方面，窄正态分布只局限于探索有限的功能空间。优化器在其功能空间探索中表现出更广泛的多样性，如前所述，SGDM探索的是有限的损失流形集，而其他两个优化器探索的范围更广。

图6。重量初始化和优化器的功能空间相似性的低维表示显示了重要的外卖。

总之，它提供了一种途径，不仅可以建立适用于科学数据集应用的鲁棒神经网络，还可以用来更好地理解网络训练演化过程。要了解更多关于我们的工作，请遵循预印本在这里，并观看Neurips 2020 ML4UNG Workshop Spotlight Talk在这里。

参考文献

[1]: Dias Ribeiro, Mateus, Alex Mendonça Bimbato, Maurício Araújo Zanardi, José Antônio Perrella Balestieri, David P. Schmidt。“使用开源框架对直喷式火花点火发动机中的流动进行大涡模拟。”国际发动机研究(2020):1468087420903622