面向集装箱港口的机器视觉智能感知系统

北京航天自动控制研究所

刘燕欣 张志良 唐 波 高仕博

港口作为全球综合运输网络中承接内陆与海上交通的重要节点，承担着85%以上进出口物资的装卸运输工作，是国内外贸易进出口产品和物资的集散中心，在全球贸易和航运中发挥着举足轻重的作用。我国港口正借助“一带一路”发展契机，以及新一轮科技和产业的变革机遇，在自动化、智能化等方面朝着第五代乃至第六代港口的方向发展。

在港口作业中，安全与效率是港口管理的重中之重，然而由于各种因素，港口安全生产事故和影响生产效率的工序始终存在，难以形成一个有效的整体来进行全流程自动化作业。不仅如此，港口运输业务繁重，工作人员的劳动强度较大，极易因疲劳而产生差错，因此急需一种智能化技术来代替人工操作，以降低人为操作引起的安全事故，并提高港口作业效率。

北京航天自动控制研究所（以下简称“研究所”）依托航天控制、导航及AI技术优势，聚焦港口安全与作业效率，提供领先的“航天智港”智能自主系统解决方案（以下简称“航天智港”），弥补了传统港口和自动化港口的痛点，赋能港机设备，打通全自动港口建设的最后一个环节，同时为传统港口带来变革式的作业流程创新。图1为集装箱港口机器视觉智能感知系统示意图。

“航天智港”包含的面向集装箱港口的机器视觉智能感知系统，将物联网、智能感知、智能控制等技术相结合，通过对作业环境、作业状态、作业流程的感知、识别与建模，实现对集装箱装卸过程辅助作业、安全预警等功能。该系统结合智能控制技术实现对集装箱起重机的自动化改造，减少人为干预，可大幅降低作业人员的劳动强度，提高港口作业效率和作业安全，且该系统不仅适用于人机混合模式下的传统作业模式，还适用于全自动化的无人装卸作业模式，为港口集装箱装卸作业提供多方位的态势感知、多场景的监测控制及多模式的灵活架构。

一、多方位的态势感知

经过长期市场调研发现，传统港口缺乏系统的顶层规划，使得港口的很多大型硬件设备与软件模块相割裂，无法形成一个有效的整体进行全流程自动化作业。对于以上问题，“航天智港”系统仅用一套智能控制硬件便实现了多种功能，同时可与远程自动化平台实现互联（5G、光纤），以最低的资金投入使港机设备具有“观察”和“思考”能力。图2为态势感知系统示意图。

智能感知系统主要是对基于可见光，同时结合红外、激光、雷达、惯导等辅助设备提供的探测信息进行融合处理，通过部署感知系统，实现对自动化集装箱码头作业对象和作业状态的全方位数据感知，使自动化设备可以对作业目标进行准确的操作，以实现集卡防吊、箱底锁智能识别预警、龙门吊纠偏、自动抓放箱、集卡引导等功能。

二、多场景的监测控制

“航天智港”主要是对集装箱港口装卸作业流程的数据进行分析，包括大车行走至指定堆场、等待集卡就位、调整吊具使其对准待作业集装箱、吊具抓箱及点动试吊、对位放箱等流程，如图3所示。该系列作业流程中常会发生集卡连同集装箱一同被吊起的事故，集装箱底锁遗留导致的上/下层集装箱固联事故，集卡反复对位耗时，误砸车头事故，轮胎吊大车偏离行驶路线导致撞箱或撞车事故等，这些问题是传统港口和自动化港口都亟需解决的痛点，更是集装箱港口实现自动化作业的关键环节。

图1 集装箱港口机器视觉智能感知系统示意图

图2 态势感知系统示意图

“航天智港”面向集装箱港口装卸流程，针对多种作业场景中存在的安全事故，研发了机器视觉智能感知系统，该系统采用机器视觉技术手段，解决了集卡车架吊起、集装箱危害性箱底锁遗留、集卡反复对位及防砸车头等问题，同时提供通用化、模块化、多样化的智能无人集装箱港机自动化系统解决方案。

（一）集卡防吊起系统

港口在进行集装箱装卸作业时，经常由于人员疏忽、结构变形等原因，导致集装箱与集卡车架间扭锁未被全部摘除，发生起重机在转运集装箱过程中，因集装箱与集卡车架固联而被一同吊起的事故，如图4所示。这不仅影响港口的作业效率，造成财物损失，严重时还会导致集卡车内司机因急速下坠而伤亡。

集卡误吊起是港口吊装作业中发生次数最多的事故。传统人工码头和自动化码头分别通过现场人员和远程人工对该环节进行确认及管控，这就降低了吊装效率和安全性。“航天智港”采用全新的技术思路，基于人工智能和机器视觉方式，全天时、全天候地感知集卡吊装状态，从而避免事故发生。该功能同时适用于轮胎吊、轨道吊，并成功应用于青岛港，首次实现了全球港口陆侧集装箱全自动化作业。

（二）集卡引导与防砸车头系统

集卡在进行装卸前需要按既定车道进入指定区域，港口的起重设备开动至集卡正上方后，操作人员操作吊具对集装箱进行装卸，操作过程如图5所示。在此过程中，集卡能否快速准确定位不仅影响集装箱起重机的作业效率，同时也影响到卡车司机及龙门吊的作业安全。

图3 集装箱主要装卸作业流程

图4 集卡误吊示意图

图5 集卡引导与防砸车头示意图

针对该作业场景，系统同时调用侧视和顶视摄像机获取全面的作业场景数据，采用机器视觉技术和人工智能，以实现对目标的自动检测、识别和跟踪，从而达到集卡自动定位与引导的要求。通过实时感知测量车头位置与集裝箱即将落放位置的相对偏移量，控制龙门吊吊具的运行，防止误砸车头事故的发生。

（三）集装箱底锁智能检测系统

港口在运输集装箱的过程中，将通过在集装箱4个箱角下方安装旋锁的方式，将其与运输车或其他集装箱固联，待集装箱码放至堆场前再将其箱角下方的旋锁全部摘除，集装箱底锁智能检测如图6所示。在该场景中，若集装箱箱底锁未被全部摘除，则会导致集装箱再次转运过程中可能因与其下层箱固联而产生堆场坍塌事故。

目前，国内外各港口尚以人工摘除箱底锁方式为主，自动化发展的前景是采用机械臂自动摘除，但由于全球不同公司出产的箱底锁标准不完全统一，规格和尺寸差异较大，该方式在现阶段仍存在一定的局限性，难以大范围解决箱底锁漏摘误进入堆场的状况。该系统基于人工智能和机器视觉技术，根据态势感知模块对作业场景进行识别分析，检测是否存在箱底锁遗留情况并进行相应预警控制。该功能目前已在轮胎吊、自动化港桥吊上进行了部署，并有效提升了作业效率。

（四）轮胎吊大车纠偏与自动行走系统

根据港口作业安全要求，轮胎吊大车在行驶过程中严格按预定轨道行驶，并控制其前后位置偏差在±10cm内，控制方向偏差在±5°内。然而在实际作业中，常会发生由于路面不够平坦导致大车颠簸，小车位于电气房侧导致电气房侧轮胎磨损大，机械结构无法绝对对称，作业人员误操作等各种原因导致大车偏离预定轨道的现象。目前，主要依靠操作司机目测偏移距离，并依据经验采取相应策略来对大车行进过程进行纠偏。

该作业场景对系统的感知与理解、运动与控制技术提出了挑战，智能感知系统中的大车行走与自动纠偏功能采用了机器视觉、MEMS陀螺仪等方式实现自主运动精确导航，通过对场景全方位的感知与分析，计算出大车实际行驶路线与预定路线的偏差，并结合行走模式和模糊控制技术，能够使大车始终沿预定线路行驶，如图7所示。

图6 集装箱底锁智能检测示意图

图7 轮胎吊大车纠偏示意图

（五）自动抓箱系统

现阶段港口进行集装箱装卸作业时，起重机操作人员使用操作手柄手动控制吊具，进行集装箱的对位和抓取。操作过程中，操作人员需注意力高度集中，长时间作业会导致身体疲劳，进而降低作业效率。

吊具集装箱作业是集装箱港口的关键作业环节，面向该场景研发的自动抓放箱功能，基于人工智能机器视觉识别与跟踪方式对集装箱锁孔、集卡车架锁销进行精确定位，实现集装箱自动对位抓箱功能，从而减轻操作人员的工作强度，提高作业效率。

三、多模式的适应能力

智能技术在港口行业的应用受到港口目标种类繁杂、平台运动、态势多样及复杂背景等多种不利因素制约，面向集装箱港口的机器视觉智能感知系统，通过搭建基于多源感知设备的边缘计算硬件平台，以及分层架构的通用分布式多源信息处理软件，在通用的架构上可根据客户需求定制并加载不同功能模块，以适应各种模式和设备的需求。

智能感知系统边缘计算硬件平台已支撑并集成不同类型传感器，可接入如TOS、ECS等多种港口管理与调度系统并与之交互。该系统可兼容各种接口、多种数据类型、不同生产厂家的各类设备和系统，从而实现信息的整合共享，保证系统内部数据标准统一。信息系统通过搭建分层架构的通用分布式多源信息处理软件，运用智能视频技术，实现对多路视频图像信息的采集、压缩、编码、传输，以及对采样图像的识别、检测与分析等功能。采用模块化设计模式，其接入层主要对探测设备、外部系统进行接入，以实现数据汇聚、数据传输、协议适配、节点管理等网关服务。算法层针对多源信息提供支持不同功能的算法库，并对多源信息进行深度融合处理，向下支撑接入层，并与数据层、应用层进行交互。数据层主要服务存储平台系统产生的数据信息，以支撑平台业务运行。应用层根据算法层分析结果执行相应流程，并提供设备管理、用户管理、系统管理及信息回溯等功能。

四、结束语

“航天智港”面向集装箱港口的机器视觉智能感知系统聚焦港口作业安全与效率，将机器深度学习方法与传统方法相结合，实现了数据、模型、部署的一体化应用，突破了港口复杂作业环境下的目标智能识别与行为理解技术，克服了阴影、光照、震动、集卡类型、长短箱、异常模式多样、白天夜晚、天气等随机性和不确定性因素的影响。该机器视觉智能感知系统具有良好的实时性、鲁棒性和通用性，性能指标达到国际先进水平。

研究所项目组持续优化完善现有产品形态并进行新功能开发，目前相关产品已经在天津港太平洋码头、苏州太仓港、河北京唐港、青岛新前湾自动化码头、上港宜东码头、香港HIT、深圳盐田国际港、厦门国际港海润码头等进行了试装测试，并且和招商局港口国际信息公司开展智能视频分析业务，业务覆盖了渤海湾、长三角、珠三角区域的相关港口，为后续市场拓展奠定了坚实基础。