基于机器视觉的全自动机械手臂

詹天宇 于金旭 杨安琪

摘 要：基于机器视觉的全自动机械手臂通过含有卷积神经网络的SSD目标检测算法识别出目标物体，利用双目摄像头获得目标物的坐标信息，获得坐标信息后进行计算。利用moveit中的KDL算法进行运动逆解，利用逆解获得的实时空间坐标转化为电机的控制信号，控制步进电机转动，让机械臂运动到目标位置并通过机械手抓取目标物体。

关键词：卷积神经网络;机器视觉;运动逆解;步进电机控制

1 研究现状

如今，中国正成为世界机器视觉发展最活跃的地区之一，应用范围涵盖了工业、农业、医药、军事、航天、气象、天文、公安、交通、安全、科研等国民经济的各个行业。其原因是中国已经成为全球制造业的加工中心，高要求的零部件加工及其相应的先进生产线，使许多具有国际先进水平的机器视觉系统和应用经验也进入了中国。

工业机器人是近几十年发展起来的一种高科技自动化生产设备。它的特点是可通过编程来完成各种预期的作业任务，在构造和性能上兼有人和机器各自的优点，尤其体现了人的智能和适应性。机械手作业的准确性和在各种环境中完成作业的能力，在国民经济等领域有着广阔的发展前景。

国内仿人形机器人研究起步较晚，2000年国防科学技术大学研制的“先行者”是我国第一台仿人形机器人。其后，北京理工大学于2002年研制的仿人机器人“BHR”，突破了系统集成技术，实现了无外接电缆的行走，可在未知地面上稳定行走。哈尔滨工业大学研制开发的“HIT”系列双足步行机器人实现了前/后行、侧行、转弯、上下台阶及上斜坡等动作。北京理工大学2011年研制成功的“汇童5”仿人机器人，具有视觉、语音对话、力觉、平衡觉等功能，突破了基于高速视觉的灵巧动作控制、全身协调自主反应等关键技术，成为具有“高超”运动能力的机器人健将。

2 方案设计

双目立体视觉是机器人视觉技术的一个重要分支[1]，即不同位置的兩台摄像机水平向前拍摄同一场景，通过计算空间点在两幅图像中的视差，获取该点的空间位置信息。基于双目视觉平台的研究主要包括摄像机的标定、图像处理、立体匹配、三维重建及运动分析等。通过图像采集与对目标标定，对采集到内存中的图像进行处理。

首先，利用神经网络对大数据的强大分析能力，将采集到的大量图像数据进行训练[2]。程序对实时数据的不断分析，以及自我的不断优化，程序能够实时检测并定位出目标物体在平面上的X，Y坐标。通过搭载在手臂上的双目摄像头获得对应的RGB数据进行分析，经过ROS系统求解获得图像的深度，经过变换与融合，获得实际物体在三维空间中的XYZ的坐标信息，并传输给机械执行控制系统[3]。

在控制系统中，结合图像识别系统给出的坐标信息，STM32发出控制信号，控制机械手使其能够完成基本的运动控制[4]。首先，将机械手要抓取的目标物做成一个模板，模板要尽可能的小，即包含目标物的主要特征。然后，利用模板匹配的方法确定实时图像当中目标物所在的位置，并记下目标物中心点的图像坐标。最后，将匹配出的目标物所在的区域显示到控制界面上。目标物的空间坐标确定以后，其相对于机械手当前的位置也可求得，由此可以得到机械手运动到目标物所在位置所需的进给量。单片机控制机械手运动到目标物所在位置，抓取目标物，并放到指定的位置。

3 技术路线

3.1机械手臂硬件及控制

3.2手指抓力算法

3.3 CNN卷积神经网络

4 总结

基于机器视觉的全自动机械手臂能够完成人手无法完成的高危险性及高精度的作业，通过机器视觉系统能够完成对机械手控制系统的闭环控制。凭借着硬件实现简单、软件算法优化空间大、精确度高等优势，机器视觉系统将取代传统传感器控制系统成为发展趋势。

参考文献：

[1]姜华，孙勇.基于SSD和TensorFlow的图像识别与定位算法[J].计算机时代，2019（6）：71-75.

[2]李继秀，李啸天，刘子仪.基于SSD卷积神经网络的公交车下车人数统计[J].计算机系统应用，2019，28（3）：51-58.

[3]廖炜豪.基于ROS的工业机械臂运动控制器的设计与实现[D].广州：华南理工大学，2019.

[4]刘磊，余汾芬.基于STM32的机械臂运动控制系统设计研究[J].井冈山大学学报，2019（1）：73-77.

作者简介：

詹天宇（1999-），男，汉族，湖北荆门人，黑龙江科技大学本科在读，研究方向：自动控制;

于金旭（1997-），男，汉族，黑龙江牡丹江人，黑龙江科技大学本科毕业，研究方向：机器视觉;

杨安琪（1999-），男，汉族，山西吕梁人，黑龙江科技大学本科在读，研究方向：电子电路;

（黑龙江科技大学  黑龙江  哈尔滨  150027）