外周动脉疾病是糖尿病的主要并发症，它会导致血管狭窄，减少腿和脚的血流量。这种血流减少会导致溃疡和溃疡愈合缓慢，容易感染。周围神经病变，糖尿病的另一个并发症，损害感觉，使患者难以评估其病情的严重程度。如果不及时治疗，这一系列的并发症会导致坏死组织，有时需要截肢。
为了帮助糖尿病和类似疾病的患者在病情变得严重之前诊断血流减少，我在特文特大学的研究小组正在开发一种手持设备，可以扫描组织并生成实时、增强现实(AR)的血液灌注可视化(图1)。我开发了MATLAB®该设备的算法使用同步定位和绘图(SLAM)来构建组织及其潜在血液循环的3D表示。通过安装在设备上的AR投影仪，3D图像以2D形式投影到皮肤表面。
图1所示。增强现实可视化的血液流动在手腕和手。
目前，执行类似诊断的临床系统耗资数万欧元，需要进行临床检查，必须由经过培训的技术人员安装、配置和操作。我们的设备将是负担得起的——早期的原型价格低于500欧元——而且适合家庭使用。
数据获取与SLAM算法实现
SLAM算法通常被机器人研究人员用来绘制环境地图，并确定机器人在其中的位置。为了简化跟踪，这些算法通常使用角、边和类似的线索，例如门框上的角或人行道的边缘。我需要SLAM算法来确定设备相对于组织的位置。因为人体没有明显的边角，所以我需要修改传统的SLAM算法，使其适合我的具体应用。例如，我训练深度学习网络来识别可以在序列帧中跟踪的皮肤特征。算法在创建皮肤的3D表示和定位与重建表面相关的摄像机位置时使用这些特征。
我开始开发我的算法，将设备的立体相机、热成像相机和激光灌注成像传感器的图像和数据导入MATLAB。对图像进行预处理和滤波后，编写MATLAB代码构建图像中组织的三维网格。计算机视觉工具箱™极大地简化了这一阶段的开发，为我提供了校准设备(建立相机的相对位置)、执行点跟踪和深度估计，并生成一个3D点云的功能。
我扩展了算法，将来自其他两个传感器的数据合并到网格上。具体来说，我把热成像摄像机上的近红外传感器的血液温度数据和激光多普勒传感器的信号模式结合起来显示循环血液流动。
实时增强现实投影
我们使用的数字立体相机能以每秒至少25帧的速度产生图像。由于在系统的实时约束下，每一帧包含的信息都超过了处理的能力，所以我在MATLAB中实现了一种算法，从摄像机数据中提取所需的信息，同时减少了处理工作量。该算法使用选定的关键帧为给定区域的组织创建一个密集的3D重建。一旦重建完成，算法就不会尝试从剩余的帧中添加更多的点，而只使用这些帧进行相机定位。这种关键帧方法减少了整个算法的计算需求，同时使其能够生成皮肤表面的密集重建，这将最终帮助医生做出更准确的诊断。
算法的所有主要阶段——数据采集和滤波、定位、绘图和AR投影——都在我的笔记本电脑上的MATLAB中实时运行。为了创建AR投影，算法计算3D结构的2D图像(从投影仪的角度看是可见的)，然后将图像发送到AR投影仪，后者将其显示在患者的皮肤表面。
深度学习模型和计划增强
我们已经演示了一个原型系统，该系统能够投影实时血流循环的增强现实表示。我们的长期目标是为糖尿病患者提供一种系统，能够在血液循环减弱之前就检测到它。我正在MATLAB中开发深度学习模型，利用热成像和灌注数据对血流不良的组织区域和血流健康的组织区域进行分类，甚至在肉眼可以看到任何变化之前。虽然这些深度学习模型的早期结果很有希望，但训练数据集(仅来自50名患者)太小，我们无法得出明确的结论。
在我的研究中使用MATLAB最大的优点之一是能够使用一个单一的平台来完成项目的各个方面，包括图像处理和计算机视觉，SLAM，以及深度学习。当我们从原型到生产系统,我计划使用MATLAB编码器™GPU来生成代码,这将对设备本身,而不是执行实时处理在笔记本电脑上虽然深度学习算法分类收集的数据在云中设备离线。
我的团队继续改进该系统，以支持家庭使用，即使我们探索该技术的其他应用和合并新的成像源的潜力。金宝app例如，我们正在努力确保该设备在不同的光照条件下和不同的皮肤色素条件下运行良好。我们还在考虑改进算法，使用来自MRI系统的数据，并帮助医生进行手术计划，使他们能够在插入活检针或执行其他手术前通过AR可视化内部结构。
