青年科学家韩晓光:没有被 SIGGRAPH 虐过的人生,不足以谈元宇宙


本文摘自雷锋网,原文链接:https://www.leiphone.com/category/academic/QJhSTzRE8IRqaC9J.html,侵删。

2005 年,韩晓光上大学的那一年,中国的图形学历史刚经历了一个高光时刻:

那一年,以沈向洋、郭百宁等人为首的微软亚洲研究院(MSRA)研究团队在世界图形学顶级会议 SIGGRAPH 上发表 9 篇论文,占当年 SIGGRAPH 全球论文接收总量(98篇)的十分之一。

这也构成了一代微软人的记忆与自豪。

韩晓光不是微软人,后来也未曾在微软实习或工作过,但当他在 2009 年到浙江大学读研究生时,集中在浙大的上一代微软人对 SIGGRAPH 的崇拜与追求还是深深地感染了他:

他记得,当时刚开学没多久,导师刘利刚就跟他们一众新生说:“我们的目标就是发 SIGGRAPH,因为 SIGGRAPH 是图形学领域的顶会。”

刘利刚是浙大自己培养的图形学博士,博士毕业后就去了 MSRA,在 MSRA 呆了三年(2002-2004),指导老师是童欣和沈向洋。MSRA 的研究氛围与工作经历,让刘利刚知道:在 SIGGRAPH 上发文是一件很重要、而且很光荣的事情。

所以,韩晓光很早就知道 SIGGRAPH 的存在,也逐渐树立了与刘利刚一样的认知。

事实上,即使是现在,中国的许多高校也没有将 SIGGRAPH 作为指导图形学研究的目标,因为 SIGGRAPH 的中稿难度实在是太高了:每年 SIGGRAPH 的全球论文接收总量不过百来篇,中国所有研究者加起来的中稿数量也不过数十篇。

但韩晓光从硕士开始就树立了这样一个目标:研究图形学就是要发 SIGGRAPH。

当时韩晓光所在的浙大,周围的圈子里,除了刘利刚,还有许多从 MSRA 回来的人,比如周昆、任重,他们如今都是图形学领域的知名学者。

熟悉图形学的人都知道,浙大与 MSRA 是中国图形学研究最出名的两个机构,而两者早期在图形学的人才培养与相互输送上又有着深厚渊源。

青年科学家韩晓光:没有被 SIGGRAPH 虐过的人生,不足以谈元宇宙

图注:MSRA 早期,沈向洋与郭百宁等人交流

李开复在 1998 年回国创立微软中国研究院(也就是后来的 MSRA),浙大本硕毕业生、1999 年从清华博士毕业的童欣(如今人称“童姥”)就加入其中,与沈向洋、郭百宁、刘文印、徐迎庆等人是最早一批计算机图像研究者,目标就是发 SIGGRAPH。童欣之后,浙大毕业的许多图形学硕博生也先后去了微软亚研,如刘利刚、周昆、任重等等。

他们这批人在 MSRA 时都感受过“四万人大会” SIGGRAPH 的魅力,知道自己的工作如果能够发在这样一个权威的国际顶会上是多么了不起的事。相应地,由沈向洋这样有 SIGGRAPH 发文经验的老手带领,他们也都学习到许多冲刺 SIGGRAPH 的技巧。

2010 年前后,图形学的研究比重在 MSRA 逐渐下降,许多人陆陆续续离开,又回到了浙大。除了周昆、任重这些浙大走出来的学子,还有侯启明等清北毕业生。年青的血液回流,浙大的图形学研究也更上一层楼,每年在 SIGGRAPH 上发不少文章。

韩晓光在浙大读的是数学系,两年制。这两年里,他的一个感受是:身边有许多认识的人陆陆续续都发了 SIGGRAPH,好像“中一篇 SIGGRAPH 是一件很容易的事情”。

那时韩晓光没有发论文的科研压力,但在浙大的这个小圈子里,受导师刘利刚与周围人的影响,他对图形学的科研兴趣与 SIGGRAPH 的向往开始形成。

刘利刚在科研之余也会跟他们讲一些在 MSRA 做科研的趣事,比如偶遇沈向洋的难度:

那时,沈向洋总是忙科研忙得不见人影。谁要能在电梯里“逮”到他,就要在出电梯前的短短一两分钟内将自己的研究介绍给他。这非常考验大家的表达能力,久而久之,大家就把这件事戏称为“电梯效应”。

这件事也给韩晓光留下了深刻的印象,使他自然而然地觉得:一个真正优秀的科学家,应该是求知若渴,用尽日常的每分每秒去研究与思考的。

并不是每个人在刚进入一个领域时就有机会知道这个领域最牛的一群人都在研究什么、怎么研究,以及自己日后要往哪个方向努力,才能成为该领域的佼佼者。而归功于刘利刚的引领,韩晓光在 22 岁的时候就已经以 SIGGRAPH 为目标。

这直接塑造了他的思考方式。所以,从浙大开始,韩晓光就喜欢阅读图形学方面的研究论文,尤其是 SIGGRAPH 这样的顶会论文。

现任香港中文大学(深圳)理工学院助理教授、第十一届吴文俊人工智能优秀青年奖获得者韩晓光的图形学之旅,就是这样开始的。

青年科学家韩晓光:没有被 SIGGRAPH 虐过的人生,不足以谈元宇宙

图注:学生时代的韩晓光

刚接触图形学时,韩晓光还是一个心中有梦、眼里有光的少年,十分自信、得意。

那时,他并不知道图形学的难度,视 SIGGRAPH 为囊中之物,给自己定了一个目标:每年都发一篇 SIGGRAPH。

但很快,这个“狂妄”的想法就被教育了。

韩晓光真正开始投 SIGGRAPH,是 2011 年到香港城市大学担任研究助理之后。

在浙大那会,韩晓光参与过一个工作,是用图形学对人体的身高体重进行全局一致的整形重塑,最终文章发表在图形学顶刊 ACM Transactions on Graphics(TOG)上。

青年科学家韩晓光:没有被 SIGGRAPH 虐过的人生,不足以谈元宇宙

这个工作是浙大与香港城市大学合作的一个项目。韩晓光由此认识了在香港城大任教的傅红波教授。

临近硕士毕业时,由于英语成绩不佳,直接申请读博有难度,所以韩晓光就联系了傅红波,希望先去他的组里当研究助理,然后找读博的机会。

当研究助理的第一年,韩晓光就开始计划投 SIGGRAPH。但没想到,计划是计划,现实是现实,韩晓光追逐 SIGGRAPH 的过程远远比他想得还要煎熬。

第一年,傅红波给了他一个课题。他斗志满满,一拿到题目,他想的就是奔着 SIGGRAPH 去。研究进展地很顺利,也取得了一些不错的实验结果,于是他就抱着“应该能中”的心情投了出去。

结果出来,虽然总体评分还不错,但其中一个审稿人给出了“拒稿”意见。之后,他接连改了好几次投出去,最后才中了一个排名不算特别好的期刊。

韩晓光第一次感受到:好像 SIGGRAPH 还挺难的。

第二年,他又做了一个新的项目,但实验结果还没有第一年好,连自己的标准都达不到。最后,他干脆连 SIGGRAPH 也没有投。

这让他有点泄气。为了投 SIGGRAPH,他连续几个月都吃睡在实验室,经常熬夜、看论文、赶论文,而结果却不如意。

当时他有傲气,心里总想:“我一定要中一篇 SIGGRAPH。几乎成了一种执念。”

韩晓光事后告诉雷峰网,从小到大,他都是一个比较佛系的人,知道读书的重要性就会去努力读书,但成绩如何,往往是尽人事、听天命。他唯一坚持过的事情,就是发表 SIGGRAPH。

而且,这种执著一直贯穿到 2013 年他去香港大学读博的四年。

到港大读博后,韩晓光继续死磕图形学、死磕 SIGGRAPH。

他的导师是当时刚刚从美国 UIUC 结束教职回港任教的俞益洲。

俞益洲也是浙大培养的图形学毕业生,曾师从中国第一个在 SIGGRAPH (1988年)上发表论文的图形学先驱彭群生,后来因在几何建模和基于图像的建模方面贡献突出当选了 2019 年度的 IEEE Fellow。

博士第一年,俞益洲就给了韩晓光一个颇有难度的课题——人体三维重建。

尽管当时的想法只是做简单的重建,基于少量图像,结合交互技术生成一个三维人体模型,但在那个时候,相关技术还远远没有成熟。所以尽管俞益洲的研究眼光很前瞻,但对当时的韩晓光来说难度却着实不小。

韩晓光花了一年多时间去探索,最后发现课题还是太难,没有取得好的实验结果,投 SIGGRAPH 没成功,又转去投 CVPR。这是韩晓光第一次投 CVPR,天性乐观的他再一次想“应该能中”,结果跟第一次投 SIGGRAPH 一样,也遭到了“拒稿”。

那时候,他开始真正地从心底里对 SIGGRAPH、CVPR 这样的顶会产生敬畏之心,知道原来要发一篇 SIGGRAPH 不是那么简单的,“要做一个很顶级的工作,真的要花特别多努力才行”,而且“必须做得非常完美”。

博士第二年与第三年,韩晓光换了研究课题,但自己的课题还是没有中 SIGGRAPH,倒是他参与的实验室其他成员的工作先后发表在了 SIGGRAPH 2015 和 2016 上,一篇第二作者,一篇共同一作。但韩晓光觉得不能算是自己的代表作。

一直到 2017 年,也就是韩晓光读博的最后一年,他才在 SIGGRAPGH 发表了一篇一作论文、也是他博士生涯最重要的一个工作:DeepSketch2Face。

2015 年,肖建雄、汤晓鸥等人合作将深度学习用于三维视觉研究,“3D ShapeNets: A Deep Representation for Volumetric Shapes”一文在 CVPR 引起广泛关注,也吸引了一直想做三维重建的俞益洲。他当即向团队提出要开始研究深度学习。

他将人脸三维重建的课题派给韩晓光,希望他能基于深度学习对人脸进行三维草图重建。韩晓光从 2016 年开始独自探索,花了将近一年的时间,结合深度学习、视觉图像理解、图形学中的人脸建模、几何变形与交互等多个学科的知识,竟然成功地取得了不错的结果。

青年科学家韩晓光:没有被 SIGGRAPH 虐过的人生,不足以谈元宇宙

使用 DeepSketch2Face 这个系统,用户可以在几分钟内就获得表情各异的 3D 人脸或漫画模型,游戏或动画建模师们也可以轻松创建高保真人脸模型,进而为虚拟角色赋予灵动形象。这个工作发表在 SIGGRAPH 2017,受到许多人的肯定。韩晓光第一次被邀请到了各个场合做演讲分享。

历时多年、成功发表 SIGGRAPH 一作,韩晓光的内心有兴奋、有自豪,但更多的,是一种已经被磨练过的虔诚与谦卑。

在这几年里,SIGGRAPH 就像图形学的一座圣碑,指导韩晓光前进,也教会了他科研的本质:历经挫折仍要不改初心,遭遇低谷也要抬头向前。但最重要的,是这过程中攀登所看到的风景。

这是没有元宇宙时的图形学成长人生。

3、从追随者到建设者

在韩晓光读研究生、到他加入港中深的多年里,图形学的就业方向其实一直狭窄,集中在追求酷炫特效的影视与游戏行业。加上国内科幻电影发展不振,游戏行业政策也不明朗,所以图形学在国内一直是一个“小圈子”。

2018 年韩晓光到港中深任职时,整个学校就只有他这一个研究图形学的老师。

现在港中深一共有两位研究内容与图形学相关的老师,一位是韩晓光,另一位则是 2021 年新加入的孙启霖。不过,孙启霖的工作也不是传统的图形学,而是图形学中用于三维图像采集的计算成像设备。

这期间,韩晓光也见证或亲历了图形学的发展变化:

一方面是元宇宙概念的兴起,给图形学带来了新的想象力,涌入图形学领域的科研资金也在增多,圈子在扩大。

韩晓光记得,当时他刚开始从事教职时,因为圈子小,招生与找钱都是一件很困难的事情。后来,也是多亏他以前的导师刘利刚(后来去了中科大任教)与时任港中深校长讲座教授的崔曙光介绍,才解决了招生和科研经费的难题。

元宇宙大火后,图形学技术开始受到许多企业的关注。在去年,就有几家国内的企业找到了韩晓光,希望与他合作。

韩晓光在 SIGGRAPH 2017 上发表的工作 DeepSketch2Face 属于深度学习在计算机图形学中的一次大胆尝试。在这个方向上,他也是入门最早的青年学者之一。目前,他在港中深建立的实验室 GAP,就将三维视觉作为实验室一个重点研究的方向。

“GAP”的全称是“Generation and Analysis of Pixels, Points and Polygons”,其中,pixels 指的是“像素”,points 是“点云”,polygons是“多边形网格”,这三块是图形学和视觉领域需要重点处理的对象,而生成与分析/理解是两大任务。这样加起来,就构成了“GAP”一名。

三维视觉一块也涉及到计算机视觉的知识,韩晓光在任教后也不断学习这一块的内容,并将其与图形学相结合,也取得了不错的成绩。例如,他在单视角三维重建方面的研究就曾两次入围 CVPR 的最佳论文提名。

单视角三维重建是从大量的二维图像中恢复物体(如人体、人脸、场景等)的三维结构,在计算机上实现对客观世界的虚拟现实表达。

为了解决从单视角图像中重建完整三维物体的视觉难题,韩晓光与童欣等人曾合作设计了一种基于骨架表达的新型三维几何深度学习算法,能够漂亮地实现对拓扑复杂的物体形状重建。

青年科学家韩晓光:没有被 SIGGRAPH 虐过的人生,不足以谈元宇宙

除了复杂形状的物体,更大空间的场景重建也是一个重要任务。韩晓光提出的从单张图像完整重建室内场景的方法,结合场景理解和三维网格重建两种任务,能够自动生成房间布局、摄像机姿态、物体包围盒和三维网格,并完全恢复室内物体的几何信息。

青年科学家韩晓光:没有被 SIGGRAPH 虐过的人生,不足以谈元宇宙

近两年,韩晓光最自豪的一项工作是与团队发表了一个包含 2078 个高清晰度三维服装点云模型的数据集 Deep Fashion 3D,是全球目前最大的真实三维服装数据集,获得了中国计算机图形学大会(Chinagraph)2020 年度的“图形开源数据集奖”。

对服装进行三维重建的难点在于衣服的褶皱细节,韩晓光提出的新型单幅图像三维服装重建方法,将显式网格与隐式形状的表示方法相结合,能够很好地重建出不同的服装类型以及丰富的几何细节,看起来也更逼真:

青年科学家韩晓光:没有被 SIGGRAPH 虐过的人生,不足以谈元宇宙

近两年,许多研究工作也表明,图形学与视觉的相互借鉴能够带来许多新的想法。

韩晓光从 2016 年研究 DeepSketch2Face 时开始接触深度学习与计算机视觉,逐渐对两个领域的共性与差异有更深的了解。他在基于深度学习的三维重建一块的工作,也体现了将两者融合的思考,是国内甚至全球较早研究这一方向的学者之一。

这时候的韩晓光,实际上已从图形学的追随者,变为图形学的建设者。但相比起当初的肆意轻狂,如今的韩晓光却更谦卑、努力。他的学生常有这样的感受:前一天晚上他们才讨论工作到凌晨一点,第二天早上七点钟就又接到了他的消息。

青年科学家韩晓光:没有被 SIGGRAPH 虐过的人生,不足以谈元宇宙

相关阅读 >>

未来之城·大湾区元宇宙创新示范中心促数字经济发展

元宇宙浪潮来袭!这个“指引”为人工智能技术健康发展护航

元宇宙+内容生态”行业论坛在榕举办

中国工程院院士郑纬民:元宇宙可能成为未来互联网发展的新方向

中国移动咪咕与厦门市政府签约,携手共建元宇宙生态样板城市

腾讯吴运声:“元宇宙”没有外界想得这么热,将聚焦底层技术

chinajoy线上展于metacj元宇宙数字世界举办,现在预注册免费领metacj纪念币!

元宇宙”是一块拼图,是从业者眼中的“虹宇宙”

ai为元宇宙开动“造富”流水线

物联网智库创始人彭昭:产业元宇宙和“aiot+双碳”是两大机遇

更多相关阅读请进入《元宇宙》频道 >>



打赏

取消

感谢您的支持,我会继续努力的!

扫码支持
扫码打赏,您说多少就多少

打开支付宝扫一扫,即可进行扫码打赏哦

分享从这里开始,精彩与您同在

评论

管理员已关闭评论功能...