基于深度学习的电子显微镜数据神经图谱重建

研究人员连接组学系马克斯普朗克研究所(MPI)的大脑研究人员研究了大脑皮层中的神经网络，以了解大脑如何处理感官经验来检测环境中的物体。他们的工作包括建造连接体-识别神经元之间个体连接的神经元回路图。

与人工神经网络的“神经元”不同，生物神经元并没有被组织成整齐的一维层。相反，它们被包裹并连接在一个密集的3D空间填充网格中，只能通过电子显微镜下纳米分辨率捕获的脑组织图像进行研究(图1)。

三维电子显微图显示了单个神经元的球根状细胞体和连接神经元的细神经元电缆密集而曲折的网络。单电缆，或轴突从每个神经元上投射出来的是一个极薄的结构。轴突的直径小于1微米，它连接着邻近的神经元，也连接着更远的神经元，比如位于同一皮层区域不同层的神经元，或者连接到几毫米远的神经元，甚至是位于大脑另一侧的神经元。大脑皮层中的每个神经元都可以接收来自其局部分支神经电缆树上数千个其他神经元的连接树突．这些个别连接点(突触)一个神经元的轴突索与另一个神经元的树突索之间的差异是亚微米尺度的。

在新兴的连接组学领域，研究人员面临的挑战是开发技术，在这个巨大的尺度范围内绘制神经元连接(图2)。马克斯普朗克的研究人员专注于连接体的密集重建，这项工作要求在电子显微镜体积内追踪神经元电缆和识别突触的最高精度。这项挑战是大规模的:大脑皮层中一立方毫米的灰质中含有数公里长的分支神经元电缆和大约10亿个突触。

从电子显微镜数据手动密集重建连接体通常需要数万个工作小时，即使是包含约100万个突触的较小样本量。为了自动化重建过程中劳动密集型的部分，连接组学部门开发了FocusEM，这是一个将人工注释与由MATLAB创建的卷积神经网络支持的自动化相结合的工作流^®．CNN模型在高性能计算(HPC)集群上使用并行处理进行训练和执行。

FocusEM使得在体感觉皮层中重建0.9米的树突和约1.8米的轴突成为可能，识别出近50万个突触，仅用了4000个人类工作小时，效率比以前提高了10到25倍。这项工作是发表在杂志中科学在那里，研究人员展示了在这种规模上精确的密集重建如何有助于详细了解局部脑回路。

连接体重建的挑战

为了对样本进行成像，提取一块脑组织并用重金属化合物进行染色。样品被转移到配备有定制的切片机的电子显微镜中。组织成像与组织切片交替进行，其中用切片机的金刚石刀获得25-30纳米的薄片。成千上万的成像和切割变换产生了一个大小为数百gb到tb的3D图像数据集(图3)。

为了绘制连接体，研究人员必须追踪每个神经元的轴突，因为它蜿蜒穿过3D体积，以确定它与其他神经元的连接位置。

当检测到彼此靠近的两个电缆片段时，研究人员必须仔细分析图像，以确定它们是同一轴突的一部分，还是通过突触连接的两个独立片段，还是不相关的片段。

用于大规模神经元回路重建的深度学习

FocusEM工作流自动化了连接组重建过程中大部分耗时的注释和决策步骤。工作流程包括三个主要阶段:

• 预处理步骤，基于图像处理算法和启发式
• 图像分割，基于图像处理算法和深度学习
• 形态学重建，基于机器学习与集中的人类查询相结合

预处理阶段包括以下步骤:使用全局最小二乘求解器在3D样本体积中对齐单个2D图像切片，掩盖容易识别的结构，如血管和核，以及校正图像亮度。

图像分割阶段是基于一个叫做SegEM的工作流，发表马克斯·普朗克连接组的研究结果发表在杂志上神经元在2015年。SegEM使用定制的3D CNN与分水岭变换等图像分割算法相结合。在目前的研究中，对于50万立方微米的样品体积，SegEM阶段产生了1500万个不同的体积段。

这个形态重建阶段依赖于一组机器学习分类器，这些分类器是在MATLAB中定制和训练的，以支持FocusEM工作流程:金宝app

• 的ConnectEM分类器确定两个相邻的体积段物理连接的可能性，就像连续神经电缆的一部分。
• 的SynEM分类器确定相邻的体积段是否对应一个神经连接，一个发生在纳米尺度的薄间隙上的突触(图2);这些可以通过不同的图像特征来识别，如突触囊泡簇。
• 四个TypeEM分类器将体积片段分类为属于轴突、树突、树突棘头(潜在突触的位置)或非神经元细胞类型。

FocusEM工作流使用这些分类器来自动化密集重构过程中的许多步骤。训练有素的人类注释器专注于来自分类器的定向查询，以解决复杂情况，例如多个神经电缆之间的交叉。

这种半自动化工作流的结果是，与人工方法相比，工作时间减少了十倍以上(图4)。FocusEM工作流代码可从aGitLab库．

高性能计算加速

除了最小化完成连接体密集重建所需的人工工作时间外，Max Planck的研究人员还试图最小化FocusEM工作流中自动化步骤所需的计算时间。

为了实现这一目标，研究人员转向了并行计算。连接组学部门通过MATLAB并行服务器™访问包含2500个CPU核心和32个gpu的计算集群。该团队使用并行计算工具箱™来帮助并行化图像预处理算法和自定义CNN分类器。除了全局图像配准步骤外，密集重建工作流中的大多数计算步骤都是数据并行的，因为分类器可以同时在样本体积的不同部分上运行。

对于500,000立方微米样品体积的重建，FocusEM计算步骤花费了大约100小时的计算时间。与所需的4000小时人力工作相比，计算工作并不是一个瓶颈。大多数FocusEM处理是在CPU上计算的，它们使用了大约20%的本地CPU容量(384个内核)。使用gpu加速训练用于图像分割的SegEM自定义深度学习分类器。

连接体分析

在完成了50万立方微米大脑皮层的第一次密集重建后，马克斯·普朗克的研究人员分析了由此产生的连通性和几何数据。他们的分析对这个活神经网络的局部特性产生了有价值的见解:

• 不同种类的神经元(兴奋性而且抑制)以不同的神经支配模式联系它们的靶细胞，证实了之前仅使用连接组数据的实验结果。
• 轴突和树突如何填充皮层体积的基于几何的规则并不能解释所观察到的连通性模式，正如一些先前的理论模型所提出的那样。
• 连接体中突触大小的测量分布可以为了解可能发生在大脑中的学习过程提供见解。

该研究的样本量是过去密集皮层重建的300多倍，涵盖约7000个轴突和约40万个突触，提供了以前无法解决局部脑回路问题的统计能力水平。

进一步研究计划

在目前50万立方微米的规模下，马克斯·普朗克研究团队已经确定了密集皮层重建的可行性和科学价值，现在正在努力获得更多类型的大脑样本，以便在物种之间和不同大脑状态之间进行比较，例如疾病和健康状态。

连接组学部门也开始解决重建跨越多个大脑层的更大皮层体积和包含更长距离神经连接的进一步挑战。他们继续改进自动化技术，例如FocusEM，以降低密集重建的成本。研究人员正在从立方毫米的样本体积中分析pb大小的数据集，这与过去对大脑功能的研究中确定的功能单位的规模相匹配。迄今为止，使用并行化MATLAB实现的结果表明，他们可以在本地集群上完成一个pb级数据集的FocusEM计算步骤，而不会妨碍整体重建工作。

¹读者可以查看，浏览，和/或下载材料仅为临时复制的目的，只要这些使用是出于非商业的个人目的。除法律规定外，未经出版商事先书面许可，本材料不得全部或部分地进一步复制、分发、传输、修改、改编、表演、展示、出版或出售。