课题背景：本研究来自“十一五”国家高技术研究发展项目（“八六三”计划）生物和医药技术领域生物信息与生物计算技术方向的项目课题——导航技术在机器人辅助心脏手术中的应用。该课题涉及到术前手术切口的规划和术中导航两个主要部分，前期工作已基本完成基于CAD/CAE的术前切口规划，而本文主要的工作是术中导航部分，目的是基于计算机三维重建的医学图像规划出的手术切口方案，在术中配准的基础上进行术中病灶点的定位，以修正术中患者体位变化导致的术前病灶定位坐标的不准确，使医生能在其协作下安全、准确地完成手术。

重要的概念：微创心脏外科手术简言之是计算机辅助外科手术在心脏外科中的应用。通过术前所获得的患者的二维多模图像数据，重建出三维模型以帮助医生分析并制定手术路径方案，并且在术中通过导航仪器辅助医生完成手术。

同行评价：作者结合自己的专业知识，探讨了基于内窥镜单目视觉手术导航的测距方法研究。文章选题合理，能根据当前医学上的研究热点，结合实验，得出相关数据，并对结果进行了分析，有一定的应用价值。

1上海交通大学机械与动力工程学院，上海市 200240；2复旦大学附属中山医院，上海市 200032

胡天策★，男，1982年生，重庆市人，汉族， 2008年上海交通大学毕业，硕士，主要从事生物医学工程研究。
Franklin0509@163.
com

通讯作者：徐 榕，上海交通大学机械与动力工程学院，上海市200240
rxu@sjtu.edu.cn

国家高技术研究发展计划(“八六三”计划)(2006 AA02Z310)*

摘要：为了解决微创心脏外科手术术中病灶定位的问题，利用机器视觉中针孔模型的透视投影成像的几何关系以及内窥镜在术中移动的位移差，提出一种基于内窥镜单目视觉测距和测量病灶大小的方法。通过实验证明该方法操作简单、实时性强、误差小，能够满足微创心脏外科手术术中定位的要求。今后要考虑摄像机镜头在较大几何畸变下对测量精度的影响，提高测量精度，进一步完善该单目测距方法。
关键词：单目测距；摄像机标定；微创心脏外科手术；医学工程

胡天策，蔡俊锋，徐榕，赵强.基于内窥镜单目视觉手术导航的测距方法[J].中国组织工程研究与临床康复，2008，12(22):4241-4245 [www.zglckf.com/zglckf/ejournal/upfiles/08-22/22k-4241(ps).pdf]

中图分类号: R318
文献标识码: B
文章编号: 1673-8225
(2008)22-04241-04

收稿日期：2008-01-18
修回日期：2008-03-27 (08-50-1-515/N·A)

Distance measurement based on endoscope with monocular vision

Abstract: To solve focus location in minimal invasive cardiac surgery, we bring a new method that measures the distance between endoscope and site, and the length of site mainly on the basis of the projective geometry of machine vision and the displacement increments of endoscope. This method is characterized by real time, accuracy and brief operation. It can meet the demands of location during minimal invasive cardiac surgery. The influence of camera shot under larger geometry distortion on measurement accuracy is the future study focus.

Hu TC, Cai JF, Xu R, Zhao Q.Distance measurement based on endoscope with monocular vision. Zhongguo Zuzhi Gongcheng Yanjiu yu Linchuang Kangfu 2008;12(22):4241-4245(China)
[www.zglckf.com/zglckf/ejournal/upfiles/08-22/22k-4241(ps).pdf]

0 引言

计算机辅助外科手术是指利用CT，MRI，正电子发射体层扫描，数字减影血管造影等多模图像数据，帮助医生合理、定量地制定手术方案，进行手术模拟，并在适当的图像监视和定位系统下，利用一定的导引系统，进行手术干预[1-3]。目前该方法主要应用在神经外科、整形外科以及骨科手术中，在心脏外科中的应用还在起步阶段。微创心脏外科手术就是计算机辅助外科手术技术在心脏手术中的应用，其特点是：①帮助医生直观、量化术前术中依靠经验判定的不确定参数，清晰看到很难触及或用肉眼无法看到的组织器官，在高感染情况下，代替医生操作一些危险动作。②创口小、愈合期短、减轻术后痛苦[4-6]。但在微创心脏外科手术中，由于患者在术前和术中的卧姿发生了变化并且在术中无法得到CT，MRI等多模图像数据，所以通过术前规划得到的病灶位置信息就不准确，以至于目前微创心脏外科手术主要还是依靠医生的经验，术中通过观察内窥镜获取的图像估计病灶位置和大小。所以如何将计算机辅助外科手术技术应用到微创心脏外科手术中已成为一个亟待解决的问题。
在微创心脏外科手术中，确定病灶位置的关键就是要知道病灶距内窥镜的距离。因为内窥镜的位姿是实时通过手术中的定位仪获得
的，只要知道病灶到内窥镜的距离就可以知道病灶的位置，所以本文考虑到微创心脏外科手术中的实时性和准确性以及术中有且只有一个内窥镜，针对如何在术中测量病灶距内窥镜距离，提出一种基于内窥镜单目视觉的测距方法，同时也测得病灶的大小。该方法利用单目机器视觉测量中的针孔模型，推导出内窥镜与病灶之间距离以及测量目标物的大小，经实验证明此测量方法具有实现性强、误差小、速度快的特点，完全可以满足微创心脏外科手术导航的需求。

1 视觉测距方法的分类

目前视觉测距在工程领域的应用很广泛，例如车辆导航的测距、船舶定位的测距以及机器人三维立体测距等，大多数都基于机器视觉技术，主要的方法大致有以下3种：①全向视觉：全向图像包含信息量大，能够把握整体信息，但全向摄像机的反射镜需要经过专门的设计，且成像扭曲十分严重。②双目立体视觉：其主要特点是能够获得景深，如德国慕尼黑联邦国防大学的VaMP 实验车，但立体视觉要进行对应点的匹配，耗费大量的机时，难以满足实时性的要求。③单目视觉：模型构造简单，避免了视觉数据融合，易于实现实时监测[7-8]。单目视觉测距通常是先对摄像机进行标定，求得摄像机的内外参数，如摄像机光心坐标等，再根据机器视觉理论中透视投影几何关系得到摄像机到目标物的距离。

2 内窥镜的构成以及标定

2.1 内窥镜的组成部分 电子内窥镜是继硬式内窥镜和纤维导光内窥镜之后发展起来的第三代内窥镜，由于它具有实时显示、测光转换、轮廓强调、三基色任意调整、自动增益控制（AGC）等功能被广泛于外科手术中[9-10]。
电子内窥镜的构成没有传统的目镜和物镜，其物镜和目镜分别由CCD摄像头以及图像处理、显示系统所代替[11-12]。所以，对内窥镜的标定实质上是对CCD摄像头的标定，这样就可以利用传统的摄像机标定法或者张氏标定法进行标定[13-17]。
2.2 摄像机标定 摄像机标定需要先知道一组像平面点的客观世界坐标（Xw，Yw，Zw）和帧存坐标（u，v）。如何从客观世界坐标变换到帧存坐标的过程如图1所示。其中过程①指从客观世界坐标到摄像机坐标的变换；过程②指从摄像机坐标到像平面坐标的变换；过程③指从像平面坐标到帧存坐标的变换。具体变换过程如下所述。

2.2.1 从客观世界坐标到摄像机坐标的变换 在空间中的某一点P在世界坐标系与摄像机坐标系下的坐标分别是（Xw，Yw，Zw）与（Xc，Yc，Zc），如图2所示。于是存在如下关系：
?(1)
其中R为3×3正交旋转变换矩阵，t为三维平移向量,0 = (0,0,0)T；M1为4×4矩阵。

2.2.2 从摄像机坐标到像平面坐标的变换 空间任意一点P在图像上的成像位置可以用针孔模型近似表示，即P在图像上的投影位置P，为光心O与P点的连线OP与图像平面的交点。这种关系也称为中心射影或透视投影。由比例关系有如下关系式：
?， (2)
其中，（x, y）为P点的图像坐标；（Xc，Yc，Zc）为空间点P在摄像机坐标系下的坐标。可用齐次坐标与矩阵表示为
?(3)
2.2.3 从像平面坐标到帧存坐标的变换 摄像机采集的图像以标准电视信号的形式输入计算机，经计算机中的专用数模转换板变换成数字图像。每幅数字图像是由计算机内的存储器存放，而通过图像处理只能获得目标点在计算机内存中的坐标，称之为帧存坐标（u，v），单位是象素（pixel）。如图3所示。因此要将计算机内存中的帧存坐标转换到像平面坐标系统中。

（u，v）表示以象素为单位的帧存坐标系的坐标，（x,y）表示以毫米为单位的图像坐标系的坐标。在x,y坐标系中，原点O1定义在摄像机光轴与图像平面的交点，该点一般位于图像中心处，但由于摄像机制作的原因，也会有些偏差，若O1在u, v坐标系中的坐标为（u0,v0），每个象素在x轴与y轴方向上的物理尺寸为dx, dy,则图像中任意一个象素在两个坐标系下的坐标有如下关系：
， (4)
用齐次坐标与矩阵形式表示为
?(5)
2.2.4 从客观坐标到帧存坐标的变换 将式(1)、(3)、(5)联立起来可得以世界坐标系表示的P点与其投影点P的帧存坐标的关系：
(6)

其中，αx=f/dx, αy=f/dy; M1完全由αx，αy，u0，v0决定，它们只与摄像机内部结构有关，称为内部参数；M2完全由摄像机相对于世界坐标系的方位决定，称为外部参数，M为投影矩阵。式⑹表示了空间一个点的帧存坐标和世界坐标的对应关系，可以得到两个独立的方程。标定过程中，一般取数十个已知空间点求得投影矩阵M，然后由此分解出内外参数M1和M2[18]。

3 单目视觉测距以及病灶长度测量的原理

在微创心脏外科手术中，通过术中的定位仪可以知道内窥镜的位姿，就可以直接得到其移动的距离，所以本文要利用通过内窥镜不断地向内移动所看到的图像来进行测距。
假设内窥镜某一位置看到病灶图像，此时记病灶的实际长度为L1(单位为mm)，内窥镜距病灶的距离为D1(单位为mm)，在图像上所看到的病灶的长度为L1'(单位为mm)，当内窥镜向内移动⊿D到另一个位置时，内窥镜距病灶的距离变为D2(单位为mm)，在图像上看到的病灶的长度变为L2'(单位为mm)。如图4所示。
由成像原理几何关系可得：
?(7)
?(8)
?(9)
其中L1'=K×d1，d1是在帧存坐标系中所测量得到的L1长度，单位为象素；K是一个常数，只与摄像机的内参数dx, dy有关。同理，L2'=K×d2，d2是在帧存坐标系中所测量得到的L2'长度，单位为象素。所以式(7)、(8)和(9)就可以改写成如下关系式：
?(10)
?(11)

式(10)和(11)中，f,⊿D, d1和d2都是已知的量，L1和D1分别是病灶的实际长度和CCD与病灶之间的距离，即待求量。联立两个方程，L1和D1可以表示为：
?(12)
?(13)
要求解出L1和D1关键是求解出参数K和焦距f。若L1在图像平面上所看到的情况如图3所示，可得：
?(14)
其中，参数α是L1'与图像平面坐标x轴的夹角，可以通过图像处理测量出来。
由于αx = f /dx，αy = f /dy，所以焦距f =αx×dx=αy×dy。dx, dy通过查阅摄像机CCD的型号可以得到，这样L1和D1就可以求解。

4 单目测距实验及其结果分析

本文中使用KT 202CA系列的1/3"摄像头模拟内窥镜的摄像头，所拍摄图像的分辨率为768×576，图像处理系统是NI公司的IMAQ Vision6.0。通过标定得到αx和αy分别为576.4，575.5。
对于已知型号的CCD，dx，dy其物理意义就是帧存坐标系中每象素在x轴和y轴方向上对应成像平面上的毫米值，单位为（mm / pixel）。不同型号的CCD摄像头在x轴和y轴方向上成像平面的物理尺寸如表1所示。其中，a为CCD成像平面y轴的物理尺寸，h为CCD成像平面x轴的物理尺寸。

对于本实验所使用的1/3"CCD摄像头，所拍摄的图像分辨率为768×576，从而可得到dx =4.8/768=0.006 25（mm / pixel），dy =3.6/576=0.006 25（mm / pixel）。那么可算出焦距f =3.6mm。将求解出的dx, dy代入式⒁可得到：

结合上海中山医院心血管外科医生在临床上的经验和所获得的真实病例的相关数据，如表2所示。

从表2的数据可知，为了能让医生在最大视野时看清楚病灶，可取病灶的实际长度为32 mm，内窥镜到病灶距离的范围为60~120 mm。所以本实验中模拟内窥镜测距的数据是从50~120 mm，每移动5 mm测得一组数据，同时，取目标物的实际长度为32 mm。实验测得数据如表3所示。
由式⑿、⒀计算D1和L1时，由于⊿D可以取不同的值，所以一个⊿D就可以求出一个D1和L1。例如对于本试验，如果需求CCD到目标物的实际距离为120 mm处的D1和L1，那么⊿D分别取5，10，15，...70 mm就能由式⑿、⒀算出一组D1和L1，这组D1和L1分别都有14个不同值。对于计算得到的这组D1，去掉其中的最大、最小值，取剩下值的平均值就能得到最后计算的D1。同理，对于计算得到的这组L1，去掉其中的最大、最小值，取剩下值的平均值就能得到最后计算的L1。该算法用Matlab2006编程实现，并与图像处理系统IMAQ Vision6.0嵌套使用，得到的实验计算结果如表4所示。

从表4可知，通过对以上8个位置的测量，D1和L1的最大误差分别为4.56%，3.22%，根据上海中山医院心血管外科医生在临床上的经验认为容许误差范围为5%。通过测算发现，该算法在Matlab中的计算时间只需要几十毫秒，综上所述，本文提出的测距方法满足微创心脏外科手术的应用要求，并且实时性强、速度快、简单实用。

5 结束语

本文提出了一种基于内窥镜单目视觉测量内窥镜到病灶距离以及病灶大小的方法，该方法是基于机器视觉中针孔模型的透视投影几何关系，并巧妙利用摄像机前后平移的距离差⊿D。通过实验证明该方法实时性强、操作简单，并能满足微创心脏手术术中定位的要求。今后要考虑摄像机镜头在较大几何畸变下对测量精度的影响，提高测量精度，进一步完善该单目测距方法。

6 参考文献

1 Hao YM,Zhu F.Shengwu Yixue Gongcheng Zazhi 2004;21(2): 306- 310
郝颖明,朱枫.外科手术计算机辅助导航技术[J].生物医学工程杂志,2004,21(2):306-310
2 Guo YH,Zhou HX.Zhonghua Waike Zazhi 2005;43(1)：64-66
郭跃华，周汉新.手术机器人的发展与现状[J].中华外科杂志，2005，43(1)：64-66
3 薛飞.手术导航系统及其关键技术[D]. 西安：西安电子科技大学，2007
4 Joskowicz L. Fluoroscopy-based navigation in computer-aided orthopaedic surgery[c]. Proceeding of the IFAC Conference on Mechatronic Systems, Darmstadt, Germany, 2000.
5 Shahidi R, Clarke L, Richard DB, et al. White paper: Challenges and opportunities in computer-assisted interventions. Comput Aided Surg,2001,6:176-181.
6 Shao B,Sun LN,Du ZJ.Heilongjiang Daxue Ziran Kexue Xuebai 2005;22(1)：56-60
邵兵,孙立宁,杜志江.机器人辅助微创外科手术系统的研究现状及关键技术分析[J].黑龙江大学自然科学学报,2005,22(1)：56-60
7 Zhao L,Liu Q.Zidonghua Bolan 2006;24(12):80-82
赵玲,刘清.基于机器人单目视觉导航的测距方法研究[J].自动化博览,2006,24(12):80-82
8 曾素娣.基于单目视觉的测距算法研究[D].昆明:昆明理工大学,2007
9 Li DY.Yiliao Zhuangbei 1996;10(10):15-16
李德印.电子内窥镜的构成及主要功能探讨[J].医疗装备,1996,10 (10):15-16
10 Li XH,Tang W,Zhang DC.Yiliao Zhuangbei Xinxi 2007;22(7):94-95
李向红,唐伟,张德昌.电子内窥镜的工作原理和维护保养[J].医疗设备信息,2007,22(7):94-95
11 Wang BZ. Yiliao Zhuangbei 2000;14(7):3-5
王斌章.医用电子内窥镜的原理及系统配置[J].医疗装备,2000,14(7):3-5
12 佟增亮.立体电子内窥镜[D].辽宁:长春理工大学，2006
13 Luo FL,Fu EC.Hunan Daxue Xuebao 1997;24(2):71-74
罗飞路,傅恩赐.CCD摄像机内外部参数快速准确的标定方法[J].湖南大学学报,1997,24(2):71-74
14 Li P,Wang JN.Shanxi Dianzi Jishu 2007;30(4):77-79
李鹏,王军宁.摄像机标定方法综述[J].陕西电子技术,2007,30(4):77- 79
15 Tsai RY. An Efficient and Accurate Camera Calibration Technique for 3D Machine Vision//Proc CV PR'86, 364-374
16 邹凤娇.摄像机标定及相关技术研究[D].四川:四川大学,2005
17 Zhengyou Zhang. A New Flexible Technique for Camera Calibration[EB/OL]. Aug. 10, 2002.http://research.microsoft.com/～zhang.
18 Jia YD.Science Press 2000
贾云得.机器视觉[M].北京：科学出版社,2000