「向传统视觉研究寻求破局之法」成为了近年来计算机视觉领域的一大趋势。将传统视觉技术与深度学习方法结合有望构建更为鲁邦的下一代视觉模型。
近日，著名计算机视觉、神经科学学者曹颖在美国科学院院刊 PNAS 上发表研究论文，基于 J.J.Gibson 的「生态光学」和微分拓扑学提出了一种新的图像分割与目标跟踪框架，对计算机视觉和生物视觉研究具有巨大的启发意义。
作者丨曹颖、Thomas Tsao编译丨OGAI编辑丨陈彩娴我们所生活的世界由物体、地面和天空组成。视觉感知需要解决两个基本的问题：将视觉输入分割成离散的单元；考虑可能由于物体变形、视角变化和动态遮挡导致的外观变化，跟踪分割出的单元。当下的计算机视觉分割和跟踪方法都需要进行学习。
那么，机器可以无需学习就分割出对象并进行跟踪吗？本文作者指出，从环境表面反射的光线的数学结构产生了恒常性表面的自然表征，这种表征为分割和跟踪任务提供了一种解决方案。
本文描述了如何根据连续的视觉输入生成这种表面的表征。对于一些合成的背景杂乱的视频，尽管物体出现了严重的外观变化，本文提出的方法可以在无需学习的情况下分割出物体，并持续跟踪它们。灵长类动物的视觉系统可以将由视网膜接收的图像流组成的视觉输入转换为对稳定、离散物体的感知信号，而人们尚未充分研究清楚这种感知组织过程。
从传统上说，这一过程被分解为两个独立的问题：分割问题。将某张图像中的视觉像素分组为不同的物体跟踪问题。
识别出不同图像中外观产生变化的物体。
这两个问题都极具挑战性。如图 1 所示，分割任务是非常困难的。因为距离较远、颜色不同、纹理不一的像素可能属于同一个物体，而相邻的、具有相同颜色/纹理的像素可能属于不同的物体。
而对于跟踪任务而言，由于物体变形、视角变化或动态遮挡，同一物体的外观可能发生剧烈变化。图 1：目标分割和跟踪任务面临的挑战，以及 Gibson 提出的解决方案框架。传统的计算机视觉研究通常通过基于图像强度、颜色和纹理的区域增长方法来解决分割问题，这些方法依赖于从单幅图像中提取的属性。近年来的大多数图像分割工作的则采用了基于深度学习的方法。
以往的工作主要通过概率化的动力学建模或「基于检测的跟踪」来解决跟踪任务，最近的方法则结合了深度学习技术。虽然早期用于分割和跟踪的学习方法是有监督的，需要大型有标签的训练集，但最近许多无监督方法涌现了出来。本文从计算的角度探索了分割和持续跟踪目标能力的起源，表明在原则上可以在不学习、有监督或无监督的情况下解决该问题。作为对基于图像的分割和跟踪方法的补充，基于几何的方法将视觉视为一个逆向的图形学问题。
在该框架下，视觉系统通过将三维图形模型反转，根据图像推理出三维表面。然而，由于在透视投射到视网膜上的过程中失去了深度的维度，因此这种反向推理过程不完全受约束，这意味着根据经验广泛学习是必要的。本文证明了，如果输入某个场景的图像序列，其中观察者或物体都在移动，根据图像推理三维曲面的问题实际上是完全受限的。本文通过数学分析和计算实验证明，只要满足以下两个自然的假设：世界是由物体组成的，即具有局部恒定光照的平滑纹理表面的离散集合动物从移动的观察点观察世界，就可以在不需要学习的情况下，实现对环境中每个离散表面的分割和持续跟踪。
本文的计算实验仅限于合成视频，但本文提出的方法也适用于高质量的图像，可以很容易地扩展到自然条件下。本文本质上从数学上实现了心理学家 J. J. Gibson 的「视觉感知的生态学方法」。Gibson 指出，理解人类视觉的关键是在 3D 环境和人眼之间插入一个「环境光学阵列场」。
如图 1C 所示，空间中一点的环境光学阵列由来自环境中被照亮的表面通过该点的光线的 2D 分布组成。环境光学阵列场是由一套被 Gibson 称为「生态光学」的定律支配的，这些定律可以解释视觉感知的大部分现象:「与其完全从神经系统的角度解释感知，我希望在一定程度上从光本身进行解释。生态光学就是一种解释的方式」。
在 Gibson 提出视觉生态光学方法后的几十年里，这个重要的概念在计算机视觉界引起了越来越多的关注。本文用精确的数学术语表述了 Gibson 的理论并实现了计算。数学分析表明，物体表面信息可以通过两种拓扑结构和近端刺激之间的链接是环境表面反射的光，在每个观察点上形成了 Gibson 提出的「光学阵列」。图 2：目标分割与跟踪的拓扑解决方案给定一个包含多个物体的复杂场景，分割任务旨在识别物体边界。
我们可以从图像中所有边缘的图开始开始进行分割，物体的边界应该是这些边缘的子集。关键的难点在于，有些边缘是「纹理边缘」，而有些边缘是真正的物体边缘。本文证明了场景的相近视角之间转换的信息可以用来区分这两种类型的边缘。
具体而言，如果一个空间区域包含一个表面的图块，那么从附近的观测点获取的两个图块彼此将是微分同胚的。也就是说，人们可以通过像拉伸和弯曲橡胶片一样来配准它们。本文展示了如何通过迭代的优化方案，用一组局部 Gabor 感受野动态地进行仿射变换，消除两个图块之间的变换来计算这种微分同胚映射。然而，如果一个图块包含一个物体边缘，那么在边缘的一侧，图块将是微分胚性的，而在另一侧则不是。
因为从一个角度看，背景的一部分是可见的，而从另一个角度看则是不可见的，这导致了微分同胚映射的「单侧失效」。在视觉心理物理学中，这种现象被称为「达芬奇立体视觉」。这提供了一种有效的方法来区分纹理边缘和真实的物体边缘：对于每个边缘元素，确定边缘每侧的微分同胚映射。
物体的边界仅在一侧伴随微分同胚映射。此外，我们可以将其视为拥有边缘的一。
