【自有技术大讲堂】双目立体视觉技术介绍

工业视觉检测中，2D视觉检测是最常用的一种方式。2D视觉检测虽然技术成熟，但随着实际检测需求越来越高，检测环境越来越苛刻，2D视觉的不足越发体现。2D视觉难以获取被测物的深度信息，就没有办法实现如物体的平整度检测、相对高度检测及一些只能通过深度区分的缺陷检测。而为对应此类检测需求，需要用到3D视觉检测。

 

近年来，3D视觉检测技术在取得不断的突破，在精度、实用性方面相较于2D视觉有无法比拟的优势。其中双目立体视觉（Binocular Stereo Vision）是3D机器视觉的一种重要形式，它是基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像，通过计算图像对应点间的位置偏差，来获取物体三维几何信息的方法。

 

双目立体视觉技术仿生自人类或灵长类动物的双眼。人的双眼位于头部前方，左眼和右眼视野存在重叠区，也就是共视区。在共视区视野内的物像都存在相对视差。双眼图像经大脑高级中枢处理后，物像的视差信息可转化为深度信息，让人类可以感觉到空间中物体的距离，看到三维立体的视觉效果。

 

双目视觉技术发展数十载，已深入工业视觉检测、自动驾驶、机器人导航、人脸识别、虚拟现实、地理勘测等领域。本文将介绍双目立体视觉的基本原理，与其应用于工业视觉检测的案例。

 

一、双目视觉系统

 

1、理想双目视觉系统

理想的双目模型是以一个摄像机为基准，沿x轴方向顺延一段距离后能与另一个摄像机完美重合。两个摄像机的焦距、参数基本相同，主光轴、Y轴平行且X轴重合。模型示意图如下所示：

 

图1、双目视觉系统

 

对于空间内一点P，如果只用摄像机C1观察，则像点坐落于左像平面的p1位置。无法只由p1一点的信息获取空间P点深度坐标，实际情况下P点可能存在于O1p1的延长线上任意位置。此时，若用C1与C2摄像机同时观察P点，左右像平面的对应点分别为p1、p2，那么空间点P将可以被确定于O1p1与O2p2延长线的交点，并且其三维信息将是唯一确定的。

 

2、视差

双目视差是一种深度线索，在观察立体视标时，因视角不同导致图像位置不同，从而产生微小的水平像位差成为双目视差。通过匹配找到图像对应的同名点，则同名点间横坐标像素差成为此点的视差。

 

比如下图是双目相机拍摄到的一组双目图像。在两幅图像中，我们关注到摩托车的后视镜上。左视图中，该像素点的坐标是（80,150），右视图中的坐标是（35,150）。那么摩托车后视镜在两幅图像中的视差就是80-35=45个像素。

 

图2、双目图像

 

3、双目系统测距基本原理

 

图3、双目测距原理示意图

双目系统测距原理可简化如上图所示。

 

物体P点的在双目图像中的视差可表示为d = x1 – x2 ；

 

根据上图中相似三角形的几何关系，可推导出P点的深度Z = bf/d 。

 

当点 P 在三维空间上移动时，点 P 在左右相机上的成像位置也会改变，从而视差也会发生相应变化。由上式可知P点深度与其视差为一一对应的关系，已知P点视差和相机的参数即可计算出P点的深度 。

 

4、双目系统的运作流程

 

图4、双目系统的运作流程

 

一套双目视觉系统硬件搭建完毕后，其与理想双目模型存在一定差距，需经过以下流程才可准确输出深度图像：

 

1、标定（calibration）：通过对标定板成像，获取相机内部及外部关键参数。如两个相机的焦距f、主点位置O、成像畸变以及两个相机拍摄图像的相对差距数据 （旋转、平移）、成像亮度差距等。

 

2、图像矫正（Rectification）：根据标定数据，进行相应的矫正。如亮度矫正、噪声矫正以及图像几何关系的矫正。

 

3、立体匹配（stereo correspondence）：双目图像进行像点匹配，获取视差信息，根据视差信息生成视差图像。

 

4、三角定位（Triangulation）：由于像点视差与像点深度为一一对应关系，根据视差信息生成深度点云图像。

 

二、应用案例分享- IC焊线检测

 

1、检测需求

双目视觉相机可应用于工业产品缺陷的高精度检测，比如IC焊线检测，双目相机可对这些细微焊线进行精确的三维重建，检测焊线高度、断裂、弯曲、翘起等2D成像无法检测的部分缺陷检测。

 

图5、IC焊线产品

 

2、IC焊线检测方案介绍：

本方案由双目相机、线扫式光源组成，采取线扫描运动成像方案。如下图所示：

 

图6、IC焊线-双目视觉检测系统

 

相机方面，本方案采取线扫描式双目3D相机，该相机光学分辨率为5μm，高度方向分辨率到达0.5μm，高度方向量程（景深）为0.5mm。参数方面符合该类IC焊线缺陷样品检测需求；光源采用扁平式穹顶高亮定制光源。由于空间受限，常规穹顶光源/隧道光源由于体积过大的原因无法适用本方案。由此而设计扁平式穹顶线扫光源，该光源可以满足安装空间需求的同时，提供多角度高均匀性高亮度的照明。

 

3、方案检测效果

下图是对双目图像进行三维重建后的IC焊线的点云图像。如图所示，焊线3d结构可被高精度地被还原出来，由此结合3d点云算法，判断焊线点云弯曲度、连续性、高度差进而判断焊线是否存在形变、断裂、翘起、脱焊等缺陷。

 

图7、焊线三维重建点云图

 

三、结语

 

双目立体视觉是一种重要的三维视觉方法，其以2D图像为基础从两个视点观察同一物象获取视差信息，最终构建物体的三维立体图像，实现非接触式检测。整体系统具有效率高、成本低、结构简单的特点，且可实现微米级超高精度视觉缺陷检测，适用于晶圆外观缺陷检测、IC焊线缺陷检测等精度需求高的场景。

 

参考文献：王笛.基于双目立体匹配的三维视觉方法研究[D]. 西安理工大学, 2021