这篇文章来自总局品牌博士和能力的工程和计算机科学教授。总局是一个Sigma Xi杰出的演讲者,书的作者,AAAS后者的。他也是一个MATLAB迷,使用MATLAB 20多年来在他的教室。你可以在推特上跟随他(@ProfessorOge)。

计算领域的病理学(CPATH)包括使用算法来分析数字图像通过扫描细胞和组织的幻灯片。近年来,深入学习算法显示类似的性能训练有素的病理学家已经开发了几个分类,回归,和细分任务,如肿瘤检测和分级。

应用深度学习(DL)技术来分析组织病理学组织部分将开始就像任何其他深度学习应用程序(确保采取原则工作流和大量的运行实验结构化的方式),但将有一个重要的额外的复杂因素:需要获取、标签、储存、显示、和过程gigapixel-sized图像。

在这篇文章我们将经历的最新发展的概述CPATH深度学习,向您展示如何使用MATLAB图像处理非常大的。

深度学习在计算病理学的概述

图1:深度学习在计算病理学工作流。

图1概述了计算深度学习工作流程的组织病理学。从本质上讲,是深神经网络训练使用补丁必须从一个gigapixel-sized整场幻灯片图像(WSI)。的选择体系结构(卷积神经网络(cnn),充分卷积网络(FCNs),复发性神经网络(RNNs) autoencoders,或生成对抗网络(甘斯))学习模式(弱监督监督,完全不受监督,转移学习)取决于图像标签和组织病理学图像分析任务手:cnn和FCNs是最广泛使用的架构(弱)监督学习任务而autoencoders和甘斯是在无监督学习范式下受欢迎的选择。

• 监督式学习方法在CPATH已经使用了:分类任务,例如,预测一个补丁是否应该被贴上健康或癌变;回归,如检测或本地化的细胞组织病理学图像;和分割从组织学结构的图像。
• 弱监督学习方法利用粗粒度(映像级别)注释(例如,癌症或常)自动推断出细粒度(像素/缀块)的信息,因此减少了注释病理学家的负担。在这个类别中最受欢迎的范式多实例学习(MIL),训练集由袋,WSIs贴上正面或负面;每个包包含了许多实例、图像补丁的标签是预测或未知。主要的目标是训练一个分类器预测bag-level和实例级标签,而只有bag-level标签在训练集。
• 无人管理的(后来改名为“self-supervised”)学习仍然是一个年轻的领域内深度学习和应用CPATH刚刚开始出现在文献中。
• 转移学习方法是采用最广泛的组织病理学,通常使用pretrained(使用ImageNet图像)模型等VGGNet,《盗梦空间》,ResNet,MobileNet,DenseNet。这些pretrained模型已经广泛应用于几个癌症分级和预后的任务,包括公共挑战在这个领域,如巴赫或CAMELYON。

挑战整场幻灯片图像获取和处理

无论建筑、学习计划,或应用程序中,数字病理的解决方案通常需要获取和处理大量的非常大(gigapixel-sized)整个幻灯片图片(WSIs),其内容往往是分析基于小金宝搏官方网站补丁(或块)。

的挑战收购WSIs包括:

• 数据可用性:有相对较少的公开数据集在这个领域(例如,CAMELYON,HER2,巴赫)和发表的研究采用专有WSI数据集。数字病理协会(DPA)维护网站与一个映像存储库列表。
• 图像格式:不同的扫描仪输出图像使用不同的专有文件格式(讨论),创建额外的困难进行数据交换,归档和在线出版。缺乏一个普遍的图像格式带来额外的成本和潜在的延迟大型数据集的管理。有对广泛的讨论采用一个单一的开放源码文件格式,包括的可能性采用DICOM标准整个幻灯片图像编码。
• 图像大小:一旦你成功获得足够的组织病理学图像并将其转换成一个有用的格式(例如,TIFF),你必须准备好这一事实每一个图像文件通常会在几个GB的顺序,和计划相关的影响(如存储空间和网络上传/下载速度)。

的挑战处理WSIs包括:

• 内存:即使一个WSI可能太大,完全融入记忆。
• 显示:理想情况下,您应该能够显示的内容WSI变焦/ pan /滚动功能显示器的分辨率是图像像素计数的一小部分。金宝搏官方网站
• 块/补丁:应该有一种优雅的方式来表示图像中的各个模块(补丁),并把它们看作“子图象”时必要的。
• 工件:在WSIs可能存在不同的工件,由于幻灯片准备工作流程(例如,染色过程中的颜色变化)或扫描仪设置(例如,不同的照明和分辨率设置)。

CPATH深度学习工作流程

图2:简化计算病理学深度学习工作流程。

图2显示了一个简化的深度学习CPATH工作流。它遵循经典的机器学习的基本步骤(ML) /深度学习工作流程,有一些明显的例外和特点:

• 的数据采集过程包括收集组织标本,切片,提取每个组织的幻灯片,并数字化,生成一个张幻灯片图像(WSI)。如果由此产生的图像没有通过质量检查,(部分)收购过程可能要重复。
• 的预处理步骤包括提取少量的补丁gigapixel-sized WSIs。这种方法减少WSIs的高维度可以被视为“人类引导的功能之间的选择。“图像补丁通常广场区域的大小可能会有所不同从32×32像素高达10000×10000像素(256×256像素是一个典型的块大小)。此外,这个步骤可能包括处理组织和工件检测和颜色管理规定(见下面的例子)。
• 的建模块由选定的深度学习的训练模式下选择学习范式(如监督、弱监督、self-supervised转移学习)。
• 的后处理块可能包括形态学操作对提高预测的质量在像素级,修复小错误,例如,通过填补缺口。
• 最后,预测一步检查模型是否运行良好。如果没有(向后箭头所示)你可能想:(1)调整模型的hyperparameters大多数机器学习和执行其他类似步骤常见(毫升)和深度学习(DL)任务;或(2)重新审视的预处理步骤,提高输入的质量图像用于训练模型。毕竟,由于ML / DL模型从数据中学习,我们必须牢记这种精细平衡当炼油一个解决方案,以更好地满足目标成功的指标。

一个例子

这是一个例子如何使用MATLAB的:(1)处理非常大的图像如WSIs;和(2)预处理和后处理组织学图像。

在MATLAB处理WSIs

这个例子展示了如何阅读的第一部分,显示、探索,并组织WSIs在MATLAB(和他们的补丁)。由于最近推出了blockedImage对象,现在可以处理非常大的图像而不会耗尽内存。blockedImage是由离散的块(补丁),可以使用一个组织和管理blockedImageDatastore对象和显示使用bigimageshow。

有用的预处理和后处理操作在WSIs MATLAB

因为在CPATH使用深度学习技术的目标是生产解决方案临床可翻译,即。金宝搏官方网站,capable of working across large patient populations, it is advisable to deal with some of the most likely WSI artifacts upfront, thereby increasing the abilities of the resulting model to generalize over image artifacts found in other test sets.

这个例子展示了示例的第二部分的预处理操作处理常见工件在组织病理学以及后处理图像形态学操作改善结果在像素级的质量。从本质上讲,这个例子应该帮助医学图像分析社区创建一个图像分析管道WSIs(奖金,繁殖能力描述的代码和示例最近的一篇论文使用MATLAB对这个话题)。

它突出了MATLAB的有效性(和图像处理工具箱)等功能:

• 图像阈值和过滤:imbinarize,bwareafilt,imlincomb
• 形态学图像处理操作:imclose,imopen,imdilate,imerode,imfill,strel
• 特征提取:bwlabel和regionprops
• 可视化:蒙太奇,imoverlay,情节和矩形

图3和图4显示结果的例子。

图3:预处理的例子:(左)最初的形象;(中心)的阈值操作分离组织从玻璃像素像素;(右)的结果应用船体填充捕获完整的形状和大小的组织和删除幻灯片背景进一步分析管道。

图4:后处理的例子:(上)覆盖的假设的预测存在感兴趣的区域(绿色)在肾移植手术活检WSI公司;(中心)使用形态学算法的结果来填补漏洞,消除虚假的像素;(底部)后处理的结果(通过补丁)。

关键的外卖

深度学习解决方案计算组织病理金宝搏官方网站学需要处理整个幻灯片图像的能力,,除了通常比他们大得多的图像用于其他图像分析和计算机视觉领域——可能遭受的工件可能会影响整个解决方案的质量。在这篇文章里我们使用MATLAB展示如何处理和过程gigapixel-sized WSIs上下文中的CPATH深度学习工作流程。

CPATH是一个活跃的研究领域,深度学习在这一领域的新发展和应用可能会出现在不久的将来。如果你有兴趣学习更多关于CPATH和相关问题,我建议你检查这个资源:大型多分辨率图像进行分类使用blockedImageand深度学习。