遗传毒性分析用于评估化学物质(如药物)对遗传物质(DNA和RNA)的损害,并经常用于测试候选药物的安全性。在过去,训练有素的实验室技术人员手动进行分析,使用显微镜检查数千个单个细胞,以识别DNA损伤的生物标志物:细胞分裂时微核(MN)的形成(图1)。除了劳动密集型和耗时之外,这种方法依赖于每个技术人员的主观判断。
我在斯旺西大学的研究小组开发了一种基于深度学习和成像流式细胞术(IFC)的基因毒性和类似研究的自动化方法。我的合作者乔治·约翰逊博士的实验室使用IFC从单个细胞中收集多通道图像数据。我们使用深度学习网络DeepFlow,这是一种为IFC[1]优化的深度学习网络,它使我们能够准确自动地将图像分类为单核、单核MN、双核或双核MN(图2)。
这种方法消除了手工方法的主观性,使世界各地的实验室能够以一致的结果进行分析。因为我们用MATLAB实现了DeepFlow®使用深度学习工具箱™,我们可以将代码发送到任何与我们合作的实验室,并知道它将可靠地运行。许多研究人员已经熟悉MATLAB,这意味着他们可以轻松地修改或改进代码,并根据特定的实验设置定制DeepFlow。
建筑DeepFlow
我们最初使用Keras TensorFlow™实现DeepFlow,但决定在MATLAB中重新实现它,以便DeepFlow可以在世界上几乎任何实验室中使用。我们希望我们的软件能够工作,无论一个特定的实验室使用什么流式细胞仪。我们不想担心依赖关系,我们想要一个易于理解和修改的深度学习网络。
我们没有对Keras代码进行逐行翻译,而是使用Deep Network Designer应用程序来构建、可视化和训练DeepFlow网络。在屏幕的一边是Keras代码,另一边是Deep Network Designer应用程序,我们简单地复制了初始实现的架构(图3)。
我们使用深度学习工具箱中的网络分析仪来检查网络及其层中的错误(图4)。例如,我们从一个为200x200像素的图像设计的网络开始,并将其缩小到与我们从IFC获得的64x64像素的图像一起工作,使用网络分析仪来验证网络中每个卷积层的图像大小。我们的合作者在使用Deep network Designer应用程序对网络进行更改时也会使用网络分析器。
在基因毒性检测中使用DeepFlow
在我们的实验设置中,我们使用的IFC能够在几分钟内处理10,000个细胞。我们捕捉了亮场图像以及用使DNA更明显的溶液染色的细胞核和微核的荧光图像(图5)。
我们将IFC数据作为MATLAB数据存储带入MATLAB。我们使用传统的图像处理技术对其进行预处理,以根据其强度重新规整每张图像,并确保每张图像都在焦点上,细胞完全在帧中。例如,我们使用边缘检测来识别干净的边缘(这表明图像处于对焦状态)和完全平坦的边缘(这表明相机没有捕捉到整个细胞)。
我们用2000多张人工分类的图像训练DeepFlow CNN。一旦我们从IFC获得了一组标准化的干净数据,我们使用训练过的网络将图像分类为具有单核、双核、三核或四核细胞(含或不含MN)。最后,使用一个完善的公式来计算落入每种类别的细胞的百分比,我们可以评估用于治疗细胞的药剂的毒性。
我们发现,在DeepFlow网络中,紧挨着最终分类层的层对于理解经过训练的CNN是如何工作的特别有价值。为了解析嵌入在这一层中的信息,我们使用MATLAB应用t-分布式随机邻居嵌入(tSNE)算法,用于可视化高维数据(图6)。这些可视化可以揭示图像数据中的细微差别,在人工检查中几乎察觉不到。例如,被分类为双核和单核细胞与微核之间的关系表明,大小决定了正常核和微核之间的区别。
利用弱监督学习将DeepFlow原理扩展到血液质量评估
除了基因毒性研究,我们还在各种分析和分类应用中使用了深度学习。例如,最近,我的同事和我使用CNN和弱监督学习来研究红细胞(rbc)随时间的退化[2]。储存用于输血的血液中的rbc会形成储存病变,观察到细胞形态的变化,通常用显微镜手动评估。手工评估非常耗时,我们注意到不同的专家通常会给出不同的分数。
对于RBC研究的第一部分,我们继续进行基因毒性研究,用人工标记为属于几种可能形态之一的图像训练CNN,或表型(图7)。经过训练的网络在分类形态学方面与专家达成了超过76%的一致,这与专家之间看到的约79%的一致相当。
在研究的第二部分,我们消除了主观的人类标签,并训练了一个弱监督的神经网络ResNet50,仅使用血液储存的时间。当我们在基因毒性研究中使用基于tsne的技术对结果进行可视化时,我们发现网络已经学会了提取单细胞特征,这些特征揭示了形态变化的时序进展(图8)。我们意识到,这种进展可以用于预测血液质量和存储血液的过期日期,无需人工注释,减少血液浪费,并有助于确保不适合的血液不用于输血。
DeepFlow的计划
我们的团队目前正在评估几个将IFC和深度学习与MATLAB结合起来的潜在研究项目。其中一个项目建立在基因毒性研究的基础上,但重点是评估接受化疗[3]的患者白细胞的反应。第二项是将DeepFlow扩展到幻灯片扫描分析,这可能会使公司重新分析大量的幻灯片扫描数据。我们也在为DeepFlow开发一个图形界面,我们将把它与网络打包成一个独立的应用程序。