对话南航计算机学院副院长、IAPR FELLOW张道强:如何高效提取脑影像的有效特征? | CMAI 2022


本文摘自雷锋网,原文链接:https://www.leiphone.com/category/healthai/sv2fDn9Vtqs58UKs.html,侵删。

近日,2022年医学人工智能大会(CMAI 2022)暨第二届“中国医学学术期刊发展”高端论坛召开。

本次高峰论坛邀请了多位顶尖医院的放射科主任及人工智能技术的权威专家,共同探讨人工智能技术在医学影像中的临床应用与科研进展,分享研究心得。雷峰网《医健AI掘金志》作为本次大会的支持单位,全程参与嘉宾的演讲内容与深度报道。

南京航空航天大学计算机学院副院长张道强教授作为本次大会的嘉宾,发表了主题演讲。

对话南航计算机学院副院长、IAPR FELLOW张道强:如何高效提取脑影像的有效特征? | CMAI 2022

2010至2012年,张道强曾在医学影像AI领军人物、上海科技大学生物医学工程学院创始院长沈定刚教授的UNC IDEA Lab团队中从事脑图像分类研究。2012年回国后,张道强一直专注于脑影像的智能分析。沈定刚教授曾表示,张道强是青年学者中研究医学影像AI最TOP的那一批人。

会后,雷峰网(公众号:雷峰网)与张道强教授进行了一次对话。他表示,相比安防等行业,深度学习技术在医学领域内的应用稍显滞后。回国两三年后,他开始将深度学习应用在脑疾病的医学影像研究中。

谈及脑疾病研究中面临的问题,张道强表示,脑疾病非常复杂、精细且种类繁多,不同的脑疾病如阿尔兹海默症(AD)与抑郁症等疾病之间也有相似之处,有些病人同时患多种脑疾病,常常难以分辨。

另一方面,用深度学习技术研究脑疾病,对高质量样本的需求量非常大,但脑疾病领域非常缺少高质量、有标记的样本。据张道强介绍,以AD为例,目前国际上最大的数据库ANDI也仅仅收录了一千例左右的样本。

为了解决样本量稀少的问题,张道强与多家医院合作,收集了大量不同站点的影像数据,通过迁移学习、对比学习等技术进行处理,克服数据偏差。

“2012年我回国后就非常注重与医院之间的合作,第一时间找到了南京本地的南京脑科医院精神科进行合作,近年来又陆续与南京鼓楼医院、山东大学齐鲁医院、清华长庚医院、301医院等多家医院达成合作。”

张道强介绍,除影像数据分享外,其团队还按照医院需求提供算法解决临床问题、与医院共同培养学生、共同研究新技术在医学影像上的应用,进行了诸多合作。

沈定刚教授回国入职联影智能与上海科技大学后,张道强与联影智能和上海科技大学也有共同的研究相关课题、申报研究成果等。

除样本问题外,脑影像特征的提取也是研究中的难题之一。三维的脑影像体量十分庞大,往往难以从中提取出有效特征。

为此,张道强提出多模态技术,对脑影像进行预处理,将影像中的一百多个脑区进行标记、配准,分割灰质、白质及脑脊液。

考虑到在AD研究中脑脊液对灰质的影响更大,他以一百多个脑区中的灰质体积作为有效特征,从结构影像的几百万个特征中筛选出一百余个。

而针对功能影像PET(正电子发射型计算机断层显像),则是以每个脑区中的平均灰度值为有效特征进行筛选。

据此,张道强构建起不同的核矩阵,在核矩阵的层次上通过多核的融合实现多模态的分类。

随着深度学习技术的发展,张道强也逐渐将图论、图神经网络等前沿技术应用到脑影像的研究之中。

2018年7月南航成立人工智能学院,与计算机科学与技术学院合署办公,学院现有计算机科学与技术、软件工程、网络空间安全3个一级学科博士点,院内师资一百二十余人。

张道强介绍,“在人工智能领域,南航在国内还是比较有影响的。”

张道强的博士生导师,中国人工智能学会机器学习委员会主任陈松灿也在南航计算机学院任教,同时陈松灿还担任着江苏省人工智能学会常务副理事长。

经过十余年的发展,目前学院内进行医学AI研究的团队已有十余人,包含脑疾病、骨科、超声、磁共振、病理图像等多个领域。

南航计算机学院的学生近年来也在国际会议上崭露头角。2019年10月,博士后邵伟在MICCAI大会上展示了他在联合基因影像数据进行预后预测上的研究工作,并获得大会青年科学家奖。邵伟也是当年五位获奖者中唯一国内的青年科学家。

在今年的MICCAI大会上,张道强课题组的博士生左英立同样斩获了青年科学家奖。

医学影像领域的华人学者在国际学术界的身影越来越活跃,2020年以来,张道强当选IAPR Fellow、

李纯明、李乐、蒋田仔等多位学者陆续当选IEEE Fellow。

张道强对此也深有感触:“我十几年前第一次参加MICCAI的时候,华人面孔还非常少,占比只有四分之一左右。”

而最近几年这一领域的华人学者明显增多,今年的MICCAI会议上有多位华人学者获得青年科学家奖,“这些事实都表明我国医学AI的研究已经接近世界前沿水平了,甚至某些方向已经超越西方国家。”

张道强表示,医学AI在国内的发展有更多的机会,“相比欧美国家,我们能够获取更多高质量的数据,加之政策支持,以及大体量的研究者不断加入这一领域,我相信医疗AI在未来会发展得更好。”

以下是张道强教授的演讲原文,雷峰网《医健AI掘金志》进行了不改变原意的整理。

我是南京航空航天大学的张道强,今天我给大家分享的题目是《脑影像智能计算以及若干应用的研究进展》。

首先我们来看为什么要研究大脑?我们知道大脑是人体最复杂也是最重要的一个器官,如果我们把大脑比作一个可以计算的机器,大脑是我们已知的客观世界里最复杂的一个机器。

正因为如此,包括美国、欧盟以及中国在内的诸多国家对脑科学计划都非常关注,中国的脑科学计划也已经正式开始实施。计划的主要构造都是大家熟知的,了解脑、模拟脑(即类脑智能)、保护脑(即脑疾病的防治)等方面。

脑影像是研究脑科学一个非常重要的工具,根据维基百科的定义,脑影像包括各种各样直接或间接对大脑的结构和功能进行探测的各种技术的总称。

从这个定义我们也可以看出来,脑影像分为两大类,一类是结构的脑影像,在医院做检查时的X光、CT以及核磁共振等都属于结构的影像。

另外一类是功能影像,比如功能磁共振、PET等等。

这是磁共振以及其成像的显示。

对话南航计算机学院副院长、IAPR FELLOW张道强:如何高效提取脑影像的有效特征? | CMAI 2022

这是PET以及它的成像显示。

对话南航计算机学院副院长、IAPR FELLOW张道强:如何高效提取脑影像的有效特征? | CMAI 2022

我们其中一个应用就是围绕脑疾病的诊断,重点研究阿尔茨海默病,也就是俗称的老年痴呆症。

老年痴呆症简称AD,是最常见的一种脑疾病。到目前为止,这一疾病还没有有效的治疗手段,随着疾病的发展,最终会导致人的死亡。

65岁以上的中老年人群体患病风险比较高,现在世界上有4000多万、接近5000万的AD患者。

据世界卫生组织的预计,到2050年,也是本世纪中叶,全球每85个人中可能会有一人患AD。

左下角是一个非常形象的示意图,我们把一棵树的树叶比喻成神经元。

大家知道我们的神经元细胞和其他细胞不一样,从人出生以后它的数量就不会再增加了,到了青年阶段以后数量就会不停地减少。

中间的树代表的是MCI,即轻度认知障碍,右边的树代表的就是AD。在这个阶段,神经元细胞就像图中的树叶一样,已经死亡了一大半,所以会对认知功能产生很大的影响。

对话南航计算机学院副院长、IAPR FELLOW张道强:如何高效提取脑影像的有效特征? | CMAI 2022

这是患AD疾病的一些名人,包括政治精英、文豪以及科技界获得诺奖科学家等很多权威人物。

对话南航计算机学院副院长、IAPR FELLOW张道强:如何高效提取脑影像的有效特征? | CMAI 2022

第一张图给出了正常人的半脑和AD患者的半脑的示意,左边是正常的半脑。

对话南航计算机学院副院长、IAPR FELLOW张道强:如何高效提取脑影像的有效特征? | CMAI 2022

我们对比来看的话, AD首先是导致大脑有非常明显的萎缩。我们再进一步观察和语言、记忆相关的一些脑区,会发现AD使大脑变得非常平滑。

正常人的大脑有很多脑沟、脑回,将表面拉伸后面积是非常大的,因为我们大脑要容纳大约1000亿个神经元,每个神经元平均要和大约1000个神经元细胞要产生连接,所有的神经元和神经元之间的连接都要容纳在大脑之中。

第二张是微观图,显示了我们现在比较公认的两个和AD相关的特征,一个是神经纤维的缠绕,另一个是淀粉样的沉淀,都能够通过生化检测发现。

这是一位画家早期的自画像,以及患AD后每一年给自己画的自画像。

对话南航计算机学院副院长、IAPR FELLOW张道强:如何高效提取脑影像的有效特征? | CMAI 2022

可以看出来,在这位画家患AD之后,随着疾病的进展,越到后期疾病对他的大脑的空间认知能力影响越大大,晚期时已经基本没有完整的空间认知感。

另外我们还可以用眼动仪来揭示正常人和AD患者看同一张图片时大脑的不同理解模式。

图中不同的圆圈是人在看这张图片时视觉焦点的位置、大小以及停留的时间。

这张图是正常人的模式,首先关注图片中感兴趣的目标,比如建筑物、沙滩上人等等,所以在这些地方停留的时间较长。

对话南航计算机学院副院长、IAPR FELLOW张道强:如何高效提取脑影像的有效特征? | CMAI 2022

这张图是AD患者的模式,他没有去关注沙滩上的人、建筑等目标,反而有很多时间集中在大海这些没有太多意义的位置。

对话南航计算机学院副院长、IAPR FELLOW张道强:如何高效提取脑影像的有效特征? | CMAI 2022

这条曲线给出了各种不同的生物标志物对AD的诊断能力,横坐标是从正常到临床前期,再到轻度认知障碍和最后的痴呆的时间变化,纵坐标表示不同的生物标志物对AD的检测能力。

对话南航计算机学院副院长、IAPR FELLOW张道强:如何高效提取脑影像的有效特征? | CMAI 2022

从这张图我们可以看出来,一些影像相关的生物标志物,包括PET、fMRI等都有很高的早期诊断能力。

与之相对比,图中最下面的一条曲线是我们临床上用的一个打分函数,如MMSE和ADAS-Cog,但这种方式一般需要在患者出现非常明显的症状之后,到晚期痴呆的阶段量表上才会出现较大差异。

到了痴呆的阶段,已经没有有效的治疗手段能让患者恢复到MCI或正常状态。所以我们一定要在MCI或更早期对这一疾病进行早诊断、早治疗。

在MCI阶段仍有一些手段能够对大脑进行干预,延缓从MCI到AD的转变,提高病人生活的质量。

从曲线图来看,基于影像特别是多模态的脑影像技术对AD进行诊断是非常重要的,这方面也有很多的工作,时间关系我们在今天的报告里面主要向大家汇报一大类:基于脑影像构建脑网络,再对脑网络进行挖掘、分析和分类,从而实现诊断的技术。

现在有一个新的提法叫做“脑连接组学”,Brain Connectomics,主要关注大脑的不同区域和区域之间的连接。

我们认为,包括疾病的患病机制在内的大量信息,不仅仅取决于不同的脑区,更多的是取决于脑区之间的连接。

一类是结构连接,比如说如果我们有DTI影像就可以很方便地构建一个结构连接网络;更多的情况下可能是功能连接,比如我们拿到的一些磁共振数据,可以从上面构建功能的连接;还有一类叫做有效连接。

我们主要关注结构和功能的连接。

相关阅读 >>

苹果新增 28 个 AI 相关职位,希望用人工智能改变 iphone 和 ipad

让听得见炮火的人来做 AI

实时监考!亚马逊被曝用AI摄像头决定驾驶员薪酬

谷歌ceo皮查伊:正考虑为新的AI产品采用订阅模

拉勾招聘推出AI招聘产品hrmind,可实现智能问答

美图公司吴欣鸿:AIgc将带来影像生产力的大爆发

福州市台江区:社区医生有了AI帮手,人工智能赋能医疗与公卫服务

安徽电信与科大讯飞签署深化战略合作协议并揭牌5g+AI联合创新实验室

AI+大数据」独角兽以萨的蛰伏与荣光

3d建模AI的背后,可能只是一群人类临时工

更多相关阅读请进入《AI》频道 >>



打赏

取消

感谢您的支持,我会继续努力的!

扫码支持
扫码打赏,您说多少就多少

打开支付宝扫一扫,即可进行扫码打赏哦

分享从这里开始,精彩与您同在

评论

管理员已关闭评论功能...