利用深度学习复杂物理过程

著者约翰娜平原那2020年12月10日

40‰（过去30日间）|0.いいね|1コメント

博客：Peetak Mitra，Majid Haghshenas和David P. Schmidt教授

以下是在神经信息处理系统（NEURIPS）机器学习的接受文件，用于工程设计，仿真研讨会2020.这项工作是ICENET联盟的一部分，是建立与建模相关的数据驱动工具的行业资助的努力燃烧发动机。可以在iCenetcfd.com找到更多详细信息

近年来，利用机器学习来建立物理应用的机器兴趣激增。Schmidt的研究组Umass Amherst教授一直在努力应用这些方法，用于复杂物理过程的湍流闭合，粗谷，燃烧或建筑廉价仿真器。在这篇博客中，我们将在将主流机器学习算法应用于域特定应用程序的当前挑战，并将展示我们在我们对兴趣的科学应用中处理这一挑战的挑战，这是与流体湍流相关的闭合模型。

当前的挑战

ML算法和设计网络中的最佳实践以及在其中选择超参数，为计算机愿景，自然语言处理等的应用程序而开发。这些数据集的损失歧管是大性比科学数据集中观察到的大自然[见图1，用于示例，使用两个变量的函数产生的丢失，通过翻译和缩放高斯分布，是科学的共同分布工程]。因此，通常是时候文学中的这些最佳实践将在科学域内的应用中翻译不好。这样做的一些主要挑战包括用于开发机器学习算法的数据以基本方式与科学数据不同;由于科学数据通常是高维，多模式，复杂，结构化和/或稀疏[1]。目前SCIML的创新步伐还由这些规范ML / DL技术的经验探索/实验驱动。为了充分利用数据的复杂性以及开发优化的ML模型，自动机器学习（Automl）用于自动化网络设计和选择最佳性能的超参数的方法是批判性的。在这项工作中，我们探讨了基于贝叶斯的自动化方法对复杂物理仿真器的效力，努力构建强大的神经网络模型。

图。1。非凸损歧管，显示了多个最佳地区的最佳地区，使神经网络训练过程变得困难

我们的申请和提出的解决方案：我们的科学应用的利益是流体湍流，这是一种非线性，非局部的多尺度现象[见图2，用于模拟中的典型刻度范围]，是建模的必要组分诸如内燃机中的工程相关流程[参见冰仿真中典型的尺度范围的图2]。在使用直接数值模拟（DNS）解决完整的Navier Stokes（DNS），导致复杂现象的最准确表示，DNS通常是在计算上棘手的。基于Reynolds的工程水平解决方金宝搏官方网站案平均Navier-Stokes（RANS）和大涡模拟（LES）通过解析较大的整体长度尺度并通过将线性操作员引入Navier-Stokes方程来减少较大的整体长度尺度和建模较小的未解决的尺度来缓解本问题。模拟复杂性。然而，这些模型遭受湍流闭合的难度。在这项研究中，我们展示了DNN学习LES闭合的能力，作为过滤变量的函数。

图2。该图显示了典型内燃机模拟中湍流的多尺度性质。从Dias Ribeiro等人采用的数字。[1]

Network design and optimization: In order to optimize the network architecture and identify best hyperparameter settings for this task, we use a Bayesian Optimization based autoML framework, in which the learning algorithm’s generalization performance is modeled as a sample from a Gaussian Process (GP) [For reference, Figure 3 lays out the entire workflow]. Expected Improvement is used as the acquisition function, to identify the next settings of parameters to investigate. Key learning parameters, including learning rate, drop factor, batch size, and network architecture, which have a leading order effect on the convergence, are optimized. The table below shows the ranges of parameters and the interpolation scheme used to investigate the next parameters. The code implementation in MATLAB is shown following that. The Bayesian Optimization process is run sequentially on each set of parameters. Within each optimization run, the network is trained and performance against validation data are evaluated, at the end of training.

图3。研究中使用的端到端工作流程。基于贝叶斯优化的Automl方法用于识别最佳性能的网络设置和体系结构，然后将其集成到OpenFoam和对地面真理数据中的比较a-priori和a-boundiori.环境。

为了优化网络架构，使用完全连接层中的网络块，并使用LeactyLuel启动层。在每次运行期间，使用贝叶斯型优化进一步优化网络的深度和宽度（每层的神经元数）进一步优化。

结果

我们发现亚当格洛兰和亚当他组合在绝对错误方面表现了最佳，尽管亚当格洛特配置具有最多的参数。RMPSProp平均，比SGDM优化器更好。这可以解释为RMSPROP是一个自适应学习速率方法，并且能够在导航本地OPTIMA的区域，而SGDM执行不良导航沟壑，并对当地最佳实现犹豫不决的进展。最佳执行模型的a-priori性能如图4所示。

图4。这a-priori测试显示了数据驱动的预测的性能，以地面真理涡流粘度预测。

为了更好地了解学习过程，我们在每个时代之后在训练过程中检查权重之间的余弦相似性。本研究[如图5所示]揭示了学习过程中的自相似性每组重量初始化 - 优化器设置。但是，在不同集合的优化器之间进行比较时，学习过程的差异很清楚。

图5。在每个时代检查网络训练期间，可以使用余弦相似度来可视化学习过程的演变。

由于神经网络权重通常是多维，以便可视化学习过程，因此诸如T-SNE的维度降低技术可用于探索功能空间。从图6中显而易见的是，初始化的效果明显，初始化具有重叠的函数空间行为，这是由于其数学制定中的相似性。另一方面，另一方面窄正常仅限于仅探索有限的功能空间。优化器在其功能空间探索中显示了更广泛的种类，并且如前所述，SGDM探索了一组有限的损耗歧管，而另外两个优化器探索更广泛的范围。

图6.。重量初始化和优化器的功能空间相似性的低维表示显示了重要的外卖。

总之是培训循环中的自动列为，提供了一种不仅为科学数据集构建适合应用程序的强大神经网络的路径，而且可以用来更好地理解网络训练演进过程。要了解更多关于我们的工作，请按照预先打印这里，并观看Neurips 2020 ML4UNG Workshop Spotlight Talk这里。

参考

[1]：Diavs Ribeiro，Mateus，AlexMendonçaBimbato，MaurícioAriajoZanardi，JoséAntônioPerrellabalestieri和David P. Schmidt。“使用开源框架直接喷射火花点火发动机的大涡流模拟。”国际发动机研究杂志（2020）：1468087420903622