Google AI Healthcare(加利福尼亚州山景城)的研究人员将BitFlow图像采集卡技术整合到增强现实显微镜 (ARM) 平台原型中,研究人员认为该平台将加速全球病理学家对深度学习工具的采用,已完成在亚毫米级视觉检查生物和物理样本的关键性任务。
驱动ARM平台的应用程序运行在一台标准的计算机上,该计算机带有一个BitFlow Cyton CoaXPress(CXP)4通道图像采集卡(CYT-PC2-CXP4),并连接一台用于实时图像捕获的Adimec S25A80 2500万像素CXP相机,以及一个用于运行深度学习算法的NVidia Titan Xp GPU。通过使用人工智能(AI),该平台能够实时分析图像,并将机器学习算法的结果直接呈现到视野中。
重要的是,ARM通过使用低成本、现成的组件(如BitFlow Cyton 图像采集卡),可以改装到世界各地医院和诊所现有的光学显微镜中,而无需被分析组织的整个载玻片数字版本。这一创新带来了可喜的消息:尽管人工智能研究取得了重大进展,但考虑到图像数字化的成本问题以及在微观分析中部署人工智能解决方案所面对的困难,将深度学习工具集成到现实世界的诊断工作流程中仍然具有挑战性。增强现实显微镜(ARM)平台原型解决了这些问题,除了具有经济性,ARM与应用无关,可用于大多数显微镜应用。
左图:增强现实显微镜的原理概述 右图:ARM平台原型被改造成典型临床级光学显微镜
据谷歌研究人员称,光机械部件的选择是由最终性能要求决定的,特别是有效的细胞和腺体级别特征表示。Adimec相机的5120×5120像素的彩色传感器具有高灵敏度和全局快门功能,能够以高达80帧/秒的速度捕获图像,而BitFlow Cyton CXP-4具有通用PCI-E接口,可简化设置。安装在显微镜侧面的eMagin SXGA0961292×1036像素的微显示器包括一个用于从计算机接收图像的HDMI接口。这种光学机械设计可以很容易地改装成大多数标准的亮场显微镜中。包括计算机在内,ARM系统的整体成本比传统的全幻灯片扫描至少低一个数量级,而且不会引起与数字化相关的工作流程变化和延迟。
基本的 ARM 管道由一组线程组成,这些线程不断从相机中抓取图像帧,对其进行 debayer 转换,将原始传感器输出转换为 RGB 彩色图像,准备数据,运行深度学习算法,处理结果,最后显示输出。
谷歌研究人员认为,ARM 有可能对全球卫生事业产生巨大影响,特别是在发展中国家的传染病诊断方面,包括结核病和疟疾等。此外,在即将采用数字病理工作流程的医院,也可以将 增强现实显微镜ARM 与数字工作流程结合使用,因为扫描仪仍然面临重大挑战或需要快速周转的情况,如细胞学、荧光成像或术中冰冻切片。
由于光学显微镜已被证明可用于病理学以外的许多行业,因此 ARM增强现实显微镜 可适用于医疗保健、生命科学研究和材料科学等众多领域。此外,ARM 还可以应用于其他显微镜应用,例如冶金12中的材料表征和电子制造领域的缺陷检测。
北京盈美智是BitFlow 中国区正式代理商,此外,公司代理销售其他国际知名厂商的工业相机、图像采集卡、光源及图像处理软件等视觉产品,还可根据用户的实际要求,进行从硬件到软件的全套图像处理系统集成。
楼主最近还看过