自动化所三维可视计算团队提出新型多尺度图卷积神经网络
在计算机图形学中，为了虚拟化真实世界的物体(如人或者动物等)，三维形状通常需要离散化为网格（mesh），用于真实感渲染。但是，因为设备的差异或采集方式的不同，很难针对单个三维形状得到的相同的离散化方式（固定的分辨率和连接关系）。这种同一个形状具有不同的离散化方式是计算机图形学有别于其他学科的一个重要特点，而现有的图神经网络无法有效统一不同离散化下的特征，这极大地限制了图神经网络在图形学领域的发展。
针对这一问题，自动化所三维可视计算团队提出了一种新颖的多尺度图卷积神经网络，重点解决了传统图卷积神经网络中图节点学习到的特征对图分辨率和连接关系敏感的问题。该方法可以实现在低分辨率的三维形状上学习特征，在高低分辨率形状之上进行测试，并且保持不同分辨率特征的一致性。 相关论文已被SIGGRAPH 2020大会接收。
研究背景 ：
传统的图卷积神经网络通常聚集1-邻域（GCN），k-环邻域（ChebyGCN）或k-近邻邻域（DGCNN）的信息，所以其感受野与分辨率或者图连接关系是相关的。也就是说，在三维形状的不同离散化下，卷积的感受野对应的形状语义范围产生了较大的变化。如何解决这种卷积方式未考虑到针对不同离散化情况所产生的问题，存在较大的挑战。
方法简述：
为解决现有图卷积神经网络的问题，团队设计了一种多尺度图卷积神经网络（multiscale graph convolutional network，MGCN）。如图1所示，团队发现，针对不同分辨率和连接关系的离散化，三维图谱小波函数表现出极佳的鲁棒性，并且不需要计算测地距离。因此，团队设计将多尺度的小波函数嵌入到图卷积神经网络的学习当中。
图1. 小波函数针对不同分辨率模型的热度图
不规则图信号的卷积通常可以理解为信号映射到频域的乘积，设计频域的卷积滤波器成为关键的因素。团队设计利用多尺度小波滤波器基函数gtm替代经典的图卷积神经网络的多项式基函数，即可得到多尺度tm的卷积滤波核：
得到了卷积滤波核的表示之后，特征或信号的卷积可以简化为如下形式，其中ψtm为不同尺度tm下的小波基函数矩阵：
如同卷积神经网络CNN一样，通过叠加该图卷积模块，构建多尺度图卷积神经网络（MGCN），即可设计解决各种任务。
实验验证：
1. 特征距离相似度
多尺度图卷积神经网络MGCN可以在5K顶点的模型上进行训练，并在5K和12K的模型上进行测试，可以发现，在不同分辨率的情况下，多尺度图卷积神经网络MGCN学习到的特征的一致性更强，甚至好于基于测地圆盘重采样（Geo-based）的方法，如图2所示。
图2. 针对不同分辨率的特征距离相似图
2. 特征维度热度图一致性
MGCN可以在7K顶点的模型上进行训练，并在7K和15K的模型上进行测试，MGCN不仅比目前最好的方法SplineCNN在不同分辨率的情况下学习到更具有一致性的特征，而且学习到的每一维度的特征包含丰富的语义信息，比如热度图高亮眼睛、鼻子、膝盖等位置，如图3所示。
图3. 针对不同分辨率的不同维度的特征热度图
3. 非等距形状特征
除此之外，MGCN还可以在具有不同连接关系的非等距形状（如动物之间）上学习特征，如图4所示，MGCN在非等距形状之间学习到的特征保持了一致性，并在形状匹配任务上得到了目前最佳的结果。
图4. 针对非等距变形的特征热度图和特征最近邻匹配结果
应用领域：
学习到描述子之后，可以用来进行三维形状识别检索、三维形状分割、关键点检测、非刚性形状匹配等任务。其中最为直接的就是三维非刚性形状匹配，三维形状匹配在形变迁移、三维动画中具有重要的应用。如图5所示，通过MGCN训练得到的特征，可以用于不同形变人体之间的匹配，并且不经过额外的后处理方法，达到直接应用的效果。此外，该特征可以应用于不同分辨率模型之间的匹配，提升了该方法在实际应用中的泛化性能。
图5. 不同方法形状匹配的效果对比图
[相关文献]
[1] Yiqun Wang, Jing Ren, Dong-Ming Yan, Jianwei Guo, Xiaopeng Zhang, and Peter Wonka. 2020. MGCN: Descriptor Learning using Multiscale GCNs. ACM Trans. Graph (Proc. SIGGRAPH). 39, (4), 15 pages.
GitHub code: https://github.com/yiqun-wang/MGCN
[2] Bronstein, M. M., Bruna, J., LeCun, Y., Szlam, A., & Vandergheynst, P. 2017. Geometric deep learning: going beyond euclidean data. IEEE Signal Processing Magazine, 34(4), 18-42.