基因毒性试验是用来评估化学制剂(如药物)对遗传物质(DNA和RNA)的损害，并经常用于测试候选药物的安全性。在过去，训练有素的实验室技术人员手工进行分析，使用显微镜检查数千个单个细胞，以确定DNA损伤的生物标志物:细胞分裂时微核(MN)的形成(图1)。除了劳动密集型和耗时外，这种方法还依赖于每个技术人员的主观判断。
图1。左上：单核细胞；右上：具有微核的单核细胞。左下：双核细胞；右下：具有微核的双核细胞。左：亮场图像；右：核荧光图像。
我在斯旺西大学的研究小组开发了一种基于深度学习和成像流式细胞术（IFC）的基因毒性和类似研究的自动化方法。我的合作者乔治·约翰逊博士的实验室使用IFC从单个细胞收集多通道图像数据。我们使用DeepFlow，这是一个为IFC[1]而优化的深度学习网络，它使我们能够准确自动地将图像分类为单核、单核含锰、双核或双核含锰（图2）。
图2。自动图像分类工作流程。
这种方法消除了手工方法的主观性，使测定结果在世界各地的实验室中保持一致。因为我们在MATLAB中实现了DeepFlow®使用深度学习工具箱™, 我们可以将代码发送到与我们合作的任何实验室，并且知道它将可靠地运行。许多研究人员已经熟悉MATLAB，这意味着他们可以轻松修改或改进代码，并根据具体的实验设置定制DeepFlow。
建筑深流
我们最初使用Keras TensorFlow™实现DeepFlow，但决定在MATLAB中重新实现它，以便DeepFlow可以在世界上几乎任何实验室中使用。我们希望我们的软件无论在一个特定的实验室使用什么流式细胞仪都能工作。我们不想担心依赖关系，我们想要一个易于理解和修改的深度学习网络。
我们没有对Keras代码进行逐行翻译，而是使用Deep Network Designer应用程序来构建、可视化和培训DeepFlow网络。在屏幕一侧显示Keras代码，另一侧显示Deep Network Designer应用程序的情况下，我们只是复制了初始实现的架构（图3）。
图3。Deep network Designer应用程序中的DeepFlow网络。
我们使用深度学习工具箱中的网络分析器检查网络及其层中的错误（图4）。例如，我们从一个为200x200像素的图像设计的网络开始，并将其缩小到使用从IFC获得的64x64像素图像，使用网络分析器验证网络中每个卷积层的图像大小。我们的合作者在使用Deep network Designer应用程序更改网络时也会使用网络分析器。
图4。MATLAB网络分析仪应用程序中的DeepFlow网络。
在基因毒性分析中使用DeepFlow
在我们的实验装置中，我们使用的IFC能够在几分钟内处理10000个细胞。我们拍摄了明亮的视野图像以及细胞核和微核的荧光图像，并用一种使DNA更加可见的溶液进行了染色（图5）。
图5。用于国际金融公司数据的分类和可视化。［1］
我们将IFC数据作为MATLAB数据存储带到MATLAB中。我们使用传统的图像处理技术对其进行预处理，根据其强度对每个图像进行重新规范化，并确保每个图像都处于焦点位置，细胞完全位于帧中。例如，我们使用边缘检测来识别干净的边缘（表示图像处于聚焦状态）和完全平坦的边缘（表示相机未捕获整个细胞）。
我们在2000多张人工分类的图像上训练了DeepFlow CNN。一旦我们从IFC获得了一组标准化、干净的数据，我们就使用经过训练的网络将图像分类为有无MN的单核、双核、三核或四核细胞。最后，使用一个成熟的公式计算每一类细胞的百分比，我们可以评估用于治疗细胞的药物的毒性。
我们发现，DeepFlow网络中最终分类层正上方的层对于理解经过训练的CNN是如何工作的特别有价值。为了解析嵌入在该层中的信息，我们使用MATLAB应用T-分布式随机邻居嵌入(tSNE)算法，用于可视化高维数据(图6)。这些可视化可以揭示图像数据中的细微差别，这些细微差别在人工检查中几乎无法察觉。例如，双核和单核细胞与微核的关系表明，大小决定了正常细胞核和微核的区别。
图6。显示遗传毒性试验中典型细胞类型数据的tSNE可视化。
基于弱监督学习的DeepFlow原理在血液质量评价中的应用
除了遗传毒性研究外，我们还将深度学习应用于各种分析和分类应用中。例如，最近，我和我的同事使用CNN和弱监督学习来研究红细胞（RBC）随时间的降解[2]。储存用于输血的血液中的红细胞会发生储存损伤，可以观察到细胞形态的变化，这通常是通过显微镜手动评估的。手工评估非常耗时，我们注意到不同的专家往往得出不同的分数。
在红细胞研究的第一部分，我们继续进行遗传毒性研究，用人工标记为属于几种可能形态之一的图像训练CNN，或表型（图7）。经过培训的网络在形态学分类方面与专家的一致性达到76%以上，与专家之间约79%的一致性相当。
图7。红细胞形态。
在研究的第二部分，我们消除了主观的人类标记，只使用血液储存的时间，训练了一个弱监督神经网络ResNet50。当我们使用遗传毒性研究中使用的基于tSNE的技术对结果进行可视化时，我们发现该网络已经学会了提取单细胞特征，这些特征揭示了形态学变化的时间顺序（图8）。我们意识到，这一进展可用于预测血液质量和储存血液的有效期，而无需人为注释，从而减少血液浪费，并有助于确保输血时不使用不合适的血液。
图8.CNN可视化过程中显示的表型（形态学）分布。
深流计划
我们的团队目前正在评估几个潜在的研究项目，这些项目将IFC和深度学习与MATLAB相结合。一个项目建立在遗传毒性研究的基础上，但重点是评估接受化疗的患者的白细胞反应[3]。第二种方法将DeepFlow扩展到幻灯片扫描分析，这可能使公司能够重新分析大量幻灯片扫描数据。我们还在为DeepFlow开发一个图形界面，我们将把它作为一个单独的应用程序与网络打包。
