外周动脉疾病是糖尿病的主要并发症,导致血管收缩,减少腿部和脚部的血液循环。这血流量减少会导致溃疡,溃疡愈合缓慢,容易受到感染。另一个并发症糖尿病周围神经病变患者损害的感觉,使其难以评估病情的严重程度。不及时治疗,这一连串的并发症会导致坏死组织,有时需要截肢。
帮助糖尿病患者诊断和类似条件减少洪水流条件变得严重之前,我特文特大学的研究小组正在开发一种手持设备扫描组织和生产实时增强现实(AR)血液灌注的可视化(图1),我开发了MATLAB®算法对于这个设备,使用同步定位和映射(大满贯)来构建一个组织和它的底层的3 d表示血液循环。3 d表示预计在2 d皮肤表面通过一个基于“增大化现实”技术的投影机安装在设备上。
图1所示。增强现实的可视化的手和手腕的血流量。
目前,临床诊断系统,执行类似的成本数以万计的欧元,需要临床访问,必须安装,配置,由训练有素的技术人员。我们的设备将affordable-early原型成本不到500欧元,适合家庭使用。
获取数据和实现大满贯算法
SLAM算法常用的机器人研究人员绘制一个环境和确定机器人的位置。为了简化跟踪,这些算法通常使用角落,边缘,和类似的角落在门框或人行道的边缘,例如。我需要SLAM算法可以确定设备的位置相对于组织。因为人体没有明显的棱角,我需要修改传统的SLAM算法,调整我的特定的应用程序。例如,我训练的深度学习网络识别皮肤特性,可以在连续帧被跟踪。算法使用这些特性在创建的3 d表示皮肤和本地化时相机的位置与重建的表面。
我开始开发算法通过导入图像和数据从设备的立体相机,热成像相机和激光灌注成像传感器到MATLAB。预处理和过滤的图像后,我写了MATLAB代码来构建一个三维网状组织的图像。计算机视觉工具箱™大大简化这一阶段的发展,给我提供功能校准设备(建立摄像机的相对位置),执行点跟踪和深度估计,并生成一个三维点云。
我扩展算法将数据从其他两个传感器和覆盖到网格。具体地说,我把血液温度数据的近红外热成像照相机上的传感器和信号模式的激光多普勒传感器表明循环血流量。
实时增强现实投影
数字立体相机,我们使用可以产生图像的速度至少每秒25帧。因为每一帧携带更多的信息比可以考虑到实时处理系统的约束,我实现了一个算法在MATLAB从相机中提取需要的信息数据,同时减少处理工作负载。该算法创建一个致密的3 d重建对于一个给定的区域组织使用选定的关键帧。这个重建完成后,该算法并不试图增加点剩余帧只使用这些框架的相机定位。这种关键帧的方法减少了整个算法的计算需求,使其产生一个密集的皮肤表面的重建,这将最终帮助医生做出更准确的诊断。
algorithm-data采集和过滤的主要阶段,定位、映射和基于“增大化现实”技术的实时projection-run在MATLAB在我的笔记本电脑。创建基于“增大化现实”技术的投影,算法计算二维图像的三维结构,可见从投影仪的观点,然后把图像的基于“增大化现实”技术的投影机,它显示在病人皮肤的表面。
深度学习模型和改进计划
我们已经演示了一个原型系统能够预测的增强现实表示实时血流循环。我们的长期目标是,为糖尿病患者提供一个系统,可以检测减少循环之前变得可见。我开发深度学习模型在MATLAB使用热成像和灌注数据分类区域组织血流量较差和那些健康的血液流动之前,任何改变都是肉眼可见的。而从这些深度学习模型是有前途的早期结果,训练数据集(从50病人)太小对我们得出明确的结论。
使用MATLAB的最大优势之一在我的研究中是能够使用一个平台项目的所有方面,包括图像处理和计算机视觉,大满贯,深度学习。当我们从原型到生产系统,我计划使用MATLAB编码器™GPU来生成代码,这将对设备本身,而不是执行实时处理在笔记本电脑上虽然深度学习算法分类收集的数据在云中设备离线。
我的小组继续改进系统来支持家庭使用,即使我们探索更多的应用和潜在的合并新的成像来源。金宝app例如,我们正在努力确保设备运行在各种照明条件下,与一系列的皮肤色素沉着。我们也在考虑提高算法从MRI系统使用数据和协助医生手术规划,使他们能够想象内部结构通过AR之前插入一根针活检或执行其他手术。
