康耐视:以机器视觉技术为引擎,推动仓储物流智能化革新进程——访康耐视大中华区物流行业产品经理张承祖(本刊记者 王玉)
星猿哲科技:以3D视觉技术优势破解仓储SKU复杂性挑战——访星猿哲科技(上海)有限公司联合创始人兼CBO邢梁立博(本刊记者 任芳)
迁移科技:为全球工业制造和仓储物流自动化赋能——访北京迁移科技有限公司联合创始人兼CTO李宏坤 (本刊记者 任芳)
作为不断融合发展的前沿技术,机器视觉可帮助各类机器采集视觉数据并分析、执行特定的任务,在各行业的自动化发展及转型升级中都发挥着重要作用。本文在对机器视觉及相关概念进行辨析的基础上,全面介绍了国内外机器视觉技术的研究与应用情况,并对机器视觉技术的发展趋势进行了分析与展望。
自人类文明诞生以来,便不断发明行之有效的技术,来记录、复制与拓展人眼所看到的景象。从15世纪作为艺术家绘画辅助工具的暗箱,到今天能精确定位测量物体的面阵相机,以及集成图像采集、处理与通讯的智能相机,用“机器之眼”代替人眼来做测量和判断的技术正愈发成熟。并且,机器视觉已不局限于让机器像人一样“看”到世界,而是让机器去“看”并“理解”与“执行”,实现甚至超越人类运用双眼接收、处理并反馈信息的整个流程。
如今,机器视觉系统已发展为一门跨学科的综合技术,成为人工智能领域的重要分支,广泛应用于制造业(特别是3C电子制造、汽车制造、光伏锂电等细分领域),在物流、交通、农业、烟草、医疗等领域都有落地应用。作为不断融合发展的前沿技术,机器视觉的内涵与外延也随之拓展。机器视觉技术涉及计算机视觉、图像处理、模式识别、人工智能、信号处理、光机电一体化等多个领域[1],目前学术界和业界并无对机器视觉的统一定义,本文搜集了几种较有代表性的定义以供参考。
例如,章炜在《机器视觉技术发展及其工业应用》 一文中认为,机器视觉指计算机模仿人的视觉功能,从观测物体中获取诸如色彩、大小等视觉信息,再进一步对信息进行数字化处理,最终用于检测、控制的一门学科[2]。
美国推进自动化协会(Association for Advancing Automation,简称A3)给出的定义是:机器视觉包括所有工业和非工业应用,通过将硬件和软件相结合,根据对图像的捕捉和处理,为设备执行功能提供操作指导。
全球机器视觉行业龙头企业康耐视认为,机器视觉是数字系统与现实世界交互的重要组成部分,能让自动化系统看到部件、产品、图案、代码或其他物体,并利用这些信息做出决策。
另一家机器视觉行业龙头企业基恩士认为,机器视觉系统结合了工业相机、镜头和照明设备,可自动对成品进行视觉检测。视觉系统应用广泛,例如缺陷检测、装配检查、字符和代码读取以及工业机器人定位。
随着各领域对高精度和效率的要求提升,人工智能与视觉系统之间的协同作用显得尤为重要。人工智能以其数据驱动的洞察力和预测能力,增强了机器视觉(Machine vision)和计算机视觉(Computer Vision)的能力。机器视觉与计算机视觉同属于人工智能领域,两者之间既有重叠又有差异,经常被交替使用,对其进行辨析有助于本文论述的进一步展开。
机器视觉偏向系统工程,由软件与硬件共同组合而成,其主要目的在于帮助各类机器采集视觉数据并分析、执行特定的任务,主要应用于工业领域,对于硬件的要求高。机器视觉面对的环境场景较为简单,是受控环境,无论是照明、物体类型、摄像头角度均较为单一,机器视觉系统有助于提高生产效率和产品质量,可执行识别、检测、测量、机器人引导(辅助智能装配与分拣)等任务。
计算机视觉则偏向计算机科学,以软件为核心,是由算法和模型主导的,其主要目的是模拟人类对于视觉世界的解释和理解,让机器根据视觉数据做出决策。计算机视觉不需要执行物理任务,应用领域相对于机器视觉更加广泛,如人脸识别、虚拟现实、增强现实等等,其面对的环境挑战性更强,光线、环境都不可控。
从上述定义和辨析中,我们可以提炼出机器视觉系统构成的三个关键,即图像采集、成像分析处理、决策执行。一个典型的机器视觉系统由硬件设备和软件系统两部分构成,其软件部分即为图像处理系统,与计算机视觉存在大量交叠;其硬件一般包括照明系统、成像系统和视觉信息处理系统,具体包括光源设备、镜头、工业相机(CCD/CMOS)、图像采集卡、工业主机、图像处理器、PLC等。
(1)照明系统:机器视觉系统的主要光源包括卤素灯、荧光灯、氙灯、LED、激光、红外、X射线)成像系统:
机器视觉的研究,起源于对“视觉”的研究。20世纪50年代,美国生物学家David·Hubel与瑞典生物学家Torsten ·Wiesel利用动物实验,发现并分析了从视网膜到大脑感觉和运动中心的神经脉冲传导[3],为视觉神经系统研究奠定基础,开启了人类对“视觉”领域的深度探索。在1957年,世界上第一张数字图像(PDF)诞生(见图1),“像素”的发明者罗素·基尔希将自己儿子的照片安装在一个扫描仪上,通过光电管向机器传输1和0来对图像进行数字化处理[4],自此处理数字图像开始成为可能。随后,各方对二维图像的统计模式识别研究,开启了机器视觉作为一门应用工程的“启航之旅”。
图1“像素”之父罗素·基尔希手持世界上第一张数字图像---张76x76像素的照片
1963年,Roberts, L.G发表题目为《机器感知三维实体》[5]的博士毕业论文,在文中提出如何从二维图片中推导三维信息的过程(见图2),其研究为计算机视觉计算领域带来极大启发。同年,Morrison发布可计算传感器,这是一种可以利用光导效应测定光斑位置的结构,成为CMOS图像传感器发展的开端。1969年,龙8游戏唯一官方网站CCD传感器(电荷耦合元件)在贝尔实验室被W.S. Boyle与G.E.Smith发明,这一图像采集重要硬件能将一种将光子转化为电脉冲,能完成高质量的数字图像采集任务,被应用于工业相机传感器中。
在20世纪70年代,麻省理工学院人工智能实验室正式开设“机器视觉”课程,这一时期诸多学者开始参与机器视觉的理论、算法、系统设计的研究,著名的Marr视觉理论便诞生在这一时期。1982年,刚刚成立的康耐视制造出世界上第一个视觉系统DataMan。DataMan是能够读取、验证和确认零件和组件上直接标记的字母、数字和符号的工业光学字符识别 (OCR) 系统[6]。在此之后,机器视觉系统开始被应用于自动化领域,机器视觉在全球范围内掀起研究热潮。
2006年,随着深度学习概念的提出,卷积神经网络、循环神经网络等算法的推广应用,机器可以通过训练自主建立识别逻辑,图像识别准确率大幅提升,机器视觉发展进入一个新的阶段[7]。现在以“Machine Vision”为关键词在Science Direct进行搜索,相关的论文、专著总量超过15万篇,并以每年超过1万篇的幅度在增加。其下游应用领域也不断拓宽,从原本的工业、农业拓展至物流、食品饮料、军事、医疗等领域,成为各行业自动化及转型升级的首选“利器”。
我国机器视觉领域的研究起步于20世纪80年代末期,当时学术领域一方面开始引进介绍国外机器视觉相关技术,另一方面我国研究团队也开始零散地在各行业领域开展机器视觉与计算机视觉相关的应用研究。
在21世纪之前,我国对机器视觉的应用研究一直处于不温不火的状态;2004~2014年相关研究数量开始增多,每年发表研究篇数超过100篇,进入起步阶段;2014年后则迎来爆发式增长,高峰时期每年发表数量超过800篇(见图3)。(注:实际上大量国内学者尤其是理工科学者,会选择在影响力更高的国际杂志刊物上发表英文论文,此处数据仅为在中国知网收集来的中文论文数量统计。从市场角度来看,国内外产品技术差距并没有中英文论文成果数量差距大。)
在2004~2014年,国内机器视觉市场也处于发展的早期阶段,虽取得一定阶段性成果,但市场发育程度与研究成果应用落地情况均与发达国家市场存在较大差距。在科研领域,机器视觉的相关研究主要集中在缺陷检测和识别方面,研究设计的领域从农业工程逐渐拓宽至工业通用设备、化学金属学、电子学、汽车工业、电力工业、交通运输、航空航天等领域,产生了一批可落地应用的学术成果。
例如,凌云研究了静态和动态两种情况下的谷物外观品质检测技术,以此设计和开发了一套适合于我国谷物外观品质分析的检测装置[8];许巧游开发了用于零件识别或缺陷检测的机器视觉系统[9];毕昕与丁汉针对液晶显示器制程中Mura缺陷检测的重要性和人工检测的弊端,建立了Mura缺陷自动检测流程[10];王磊以扣式电池为对象,研究了正负两极面的表面外观缺陷检测方法[11];桂卫华等人将机器视觉技术应用到矿物浮选过程的监控中[12]。
在2014年后,大量本土机器视觉领域供应商和集成商开始涌现,相关研究也已经渗透到各行业的各方面,科研成果迎来爆发式增长,综述性研究增多,如汤勃等人对工业领域机器视觉表面缺陷检测做了综述性研究[15];朱云等人系统总结了机器视觉技术的关键技术、应用领域、面临挑战和发展趋势[16],等等。此时,计算机视觉领域深度学习算法的推广应用,也带动了机器视觉系统的创新。例如,天津大学精密测试技术与仪器国家重点实验室系统总结了机器视觉技术在现代汽车制造领域在视觉测量、视觉引导、视觉检测三方面的应用成果[17];王耀南等人为满足智能制造装备产业对机器视觉技术的巨大需求,结合装备技术特点和特殊应用环境,提出了通用的机器视觉检测控制技术体系[18];汤勃等人对工业领域机器视觉表面缺陷检测做了综述性研究[19];朱云等人系统总结了机器视觉技术的关键技术、应用领域、面临挑战和发展趋势[20]。
我国机器视觉市场的发展,与科研领域的研究是基本同步的。2014年前后,科研领域在自动化工业、农业自动化领域的机器视觉应用成果爆发式增长。而在2013年前后,我国机器视觉行业也成为继美国、日本之后的第三大机器视觉市场,本土厂商的技术不断突破,机器视觉在汽车、电子、半导体等工业领域的渗透率也达到较高水平[21]。
一般来说,主流市场对技术产品的接受应用程度,与科研机构的理论研究、技术研发存在“时差”,机器视觉技术也不例外。机器视觉作为一门科学在20世纪70年代成立,第一个正式落地的机器视觉系统在十年后才诞生,20世纪90年代机器视觉产业才正式形成,而全球机器视觉市场百亿美元大关[22]则是在2020年突破的。
机器视觉技术的发展与两方面市场需求的上升息息相关:一是传统产业因成本过高和劳动力不足(尤其是疫情期间)导致原因寻求转型,对自动化技术的需求激增;二是新兴产业在发展中因自身需求,天然地利用机器视觉技术提高精确度和工作效率,实现自动化。在智能制造升级、机器人技术提升、图像处理理论革新等因素的影响下,机器视觉技术也将向3D化、集成化、智能化的趋势发展。
从黑白到彩色、低分辨率到高分辨率、静态图像到动态影像,这些行业技术革新始终围绕着2D机器视觉进行。不过,将三维空间压缩至二维平面始终有弊端。例如,测量精度受到光照和颜色变化影响大,在复杂环境中物体识别处理能力不足,2D机器视觉无法充分满足实际应用场景中对于物体形状、体积、厚度、位置的精确测量。
随着双目视觉、点云处理、结构光三维测量、三维重建、机器学习等算法和理论应用的不断优化,能捕捉物体空间信息的3D机器视觉将会成为未来有发展前景的方向之一。例如,机器人/机械臂很难处理的无序分拣、料箱拣选、拆/码垛作业,就可以通过3D机器视觉系统识别抓取位置的空间坐标并合理规划路径,从而顺利完成。
目前传统的PC(或板卡)式机器视觉系统和嵌入式视觉系统在市场中并存,PC式机器视觉为主导。但随着机器视觉应用领域不断拓宽,嵌入式视觉系统也将迎来发展。PC式机器视觉系统属于传统视觉系统结构,结构复杂、尺寸大、开发周期长,但是在精度和速度方面较为理想,在工业自动化、农业自动化领域能提供支持。嵌入式视觉系统则是一种新型的将“嵌入式系统”与“机器视觉”结合而成的系统,其优势在于易于集成、小型化、低成本。嵌入式视觉系统是机器视觉“走出”工厂车间的重要一环,未来在安防、军事领域大有可为。
目前,机器视觉系统中采用AI的趋势已经开始显现。人类花费了几十年时间让机器“看见”并据此“解读”平面世界,而AI与3D机器视觉的结合,则让机器有了“理解”真实世界的可能。在AI技术的加持下,机器视觉将具有超越现有解决方案的智能能力,能拥有自适应性,可自主感知环境,能从收集到的视觉信息中提取关键特征,根据深度学习算法快速作出判断。机器视觉产品若想要进一步拓展自己在现有市场中的接受程度,软件算法具有自适应能力,根据需求量身定制和系统操作方便、不需要专门的工程师维护,都缺一不可。在这两个目标下,AI的引入就显得尤为重要。AI能提供更高的系统柔性和操作灵活性,进一步满足制造业对于产品检验和质量控制的需求,以及仓储物流业对于智能协作机器人的需求。