基于NAO机器人视觉识别科教创新实验设计

王可欣 卫九蓉 杨嘉融 李程 王晨 石玉 强宁

摘  要：依托高校人工智能课程，结合垃圾分类这一重要民生问题，本文设计了基于NAO机器人的垃圾识别与目标抓取创新实验。基于NAO的实验开发平台Choregraphe，使用视频监视器进行图像数据的学习，建立图像数据库，进而使用Vision Reco.指令盒进行视觉识别。根据机器人运动学理论，实现NAO对目标的抓取动作设计，并使用NAOMarks进行定位信息处理，确保NAO正确定位垃圾桶位置。经过教学实践发现，学生对该种模式的教学方法有极高的学习兴趣，培养了学生的动手实践能力，对于学生创新实践思维的培养有积极的促进意义。

关键词：NAO机器人 视觉识别 机器人运动控制 垃圾分类

中图分类号：TP391 文献标识码：A 文章编号：1674-098X（2021）07（a）-0178-06

Innovative Experimental Design Based on NAO Robot Visual Recognition

WANG Kexin  WEI Jiurong  YANG Jiarong  LI Cheng  WANG Chen  SHI Yu  QIANG Ning*

（School of Physics and Information Technology， Shaanxi Normal University， Xi'an， Shaanxi Province， 710062  China）

Abstract： Relying on the artificial intelligence course in colleges and universities， combined with the important livelihood problem of garbage classification， this paper designs an innovative experiment of waste identification and target capture based on NAO robot. The experimental development platform Chorepache based on NAO uses video monitor to learn image data， establish image database， and then use Vision Reco. Instruction box for visual recognition. According to the robot kinematics theory， the grasping action design of NAO to the target is realized， and NAOMarks is used to process the positioning information to ensure that NAO can correctly locate the trash can. Through teaching practice， it is found that students have a high interest in this mode of teaching method， cultivate students' practical ability， and have a positive significance in promoting the cultivation of students' innovative practical thinking.

Key Words： NAO robot; Visual recognition; Robot motion control; Garbage classification

仿人型機器人具备与人类相似的外观，可以适应人类的生活和工作环境，代替人类完成各种作业，其中Aldebaran Robotics公司研制的NAO是目前世界上应用最广泛的人形机器人[1]。

人形机器人的主要应用包括面向商业发展、家庭生活、学校教育及科学研究，有较为丰富的应用拓展。本文结合学校教育与垃圾分类问题，依托高校人工智能课程教，借助NAO仿人型机器人的图像开发平台Choregraphe设计NAO关于垃圾回收的创新实验，建立NAO已知对象的数据库，利用视觉关键特征进行识别，最终实现对不同垃圾进行分类识别的目标。本文设计的创新实验过程遵循理论结合实际、循序渐进的原则，从平台指令盒的初步使用到建立图像数据库、设计抓取动作、定位垃圾桶等一系列动作的实现，帮助培养学生的专业学科素养及动手实践能力。

1  Choregraphe平台使用

NAO提供了Choregraphe、NAOqi和检测器作为开发软件，本文基于Choregraphe开发平台进行实验设计。Choregraphe是一个具有高可视化的图像开发工具，内部装载了面向对象的直译程序语言Python。编程过程清晰、直观，程序代码可读性高[2]。使用该平台可以在NAO机器人上测试实验过程中所创建的不同指令模块，基于图像编程工具实现对NAO机器人行为的控制，其内置的指令盒在一定程度上简化了实验过程中对于NAO机器人基础应用的实现。

对于入门级学生来说，Choregraphe图像化编程的图像化编辑平台很容易上手，并可以提供NAO指令的即时反馈，这将大大提高学生的编程兴趣，更有利于后续开展的相关编程课程的学习[3]。

2  实验总体方案

实验设计总体分为两大部分，即基础视觉识别实验设计和拓展应用实验设计，所有实验设计均基于Choregraphe平台的使用。基础视觉识别实验中，NAO机器人使用视频监视器进行图像特征信息的学习，调用Vision Reco.指令盒对已建立的图像数据库信息进行视觉识别。拓展应用实验中，主要设计NAO机器人的手部抓取动作，并使用NAOMarks进行目标定位功能的实现。

本文的创新实验设计是以学生为中心，以现实生活中的垃圾分类与处理问题为驱动，旨在将课堂与生活实践联系起来，培养学生对于学习人工智能课程的兴趣和热情。本文的总体实验设计难度循序渐进、由浅入深，从目标识别到目标捕获再到目标定位，系统地、全面地引导学生从理解和运用NAO向开发NAO过渡，能够有效培养学生动手实践、独立思考的能力[4]。实验总体设计如图1所示。

3  基础视觉识别实验

实验通过使用Choregraphe平台提供的Video monitor（视频显示器）窗口进行图像学习。在学习过程中，实验人员手动截取不同形状轮廓的物体图片模拟实际物体，之后NAO通过对学习对象进行标定，提取相应的形状及颜色特征，将学习对象的名称、方位存储到数据库中。其中，视觉学习对象为平坦且具有不同颜色和不同轮廓物体的图片，图片背景为无特殊花纹形状的白色背景，以减小外界环境对于NAO的学习识别带来的干扰，保证NAO视觉识别过程环境背景的纯净。

3.1 图像获取

NAO机器人拥有两个摄像头以实现视觉认知，其中，软件开发平台中的视频显示器窗口用于显示NAO的摄像头实时画面和内存信息的程序。

实验人员利用Choregraphe平台上提供的视觉学习工具Video monitor进行NAO机器人的图像学习实验，详见图2。实验中，选不同类型的垃圾图片，确保图像清晰且有较明显的可识别特征。在视频显示器窗口，NAO通过自身摄像头对图片经过4s学习后，相机捕获一张320×240分辨率的图像[5]。NAO在学习过程中会抽取选定图像的关键特征，即颜色和形状轮廓等进行提取。实验人员手动画出物体图像的形状轮廓，对已学习图像的名称、方位、类别等信息进行规定并上传数据库。多次重复上述过程，操作NAO学习多组对象的图片信息，建立小型图像数据库并存储在计算机中。

对于不同类型的垃圾采用格式一致的命名规范——“垃圾名称_垃圾类型”。同时按照西安现行的垃圾分类管理办法简化名称：规定A表示厨余垃圾;B表示有害垃圾;C表示可回收垃圾;D表示其他垃圾。

3.2 色彩空间

NAO机器人的摄像头主要支持RGB颜色空间和HSV颜色空间模型[6]，详见图3、图4。

RGB模式表示像素色时，是通过改变红、绿、蓝3种颜色不同程度上的叠加比例来表示不同的颜色。但在RGB空间中没有光照记录外界光照变化的影响，在识别过程中，外界光照的改变会引起3个分量的变化，导致识别过程无效。

HSV空间模型能够记录色调、亮度和饱和度的变化。但在该色彩空间下，NAO机器人摄像头采集图像的时间较长，不能满足即时识别的性能要求[7]。

为满足实验设计对于垃圾图像的实时处理识别，本文采用NAO机器人摄像头默认的RGB色彩空间模型下进行图像学习及识别处理。为排除因光照情况不同而产生的识别干扰，将实验安排在有恒定光强照射且光源照射角度相同的室内进行。

3.3 视觉识别

实验设计使用Choregraphe平台的Vision Reco.指令盒，如图5所示。该指令盒的主要功能是识别机器人已知的图片、物体和位置。该指令盒的输入为待识别图像的相关特征信息，NAO通过提取图像的形状轮廓及颜色等特征信息进行识别分析。

识别过程中需要将之前NAO在视频显示器上学习的图像信息作为视觉识别数据库全部导出到本地计算机默认文件夹下，生成本地数据库，再将当前的本地视觉识别数据库上传到NAO机器人上，最后使用Vision Reco.指令盒进行视觉识别。具体识别演示情况可见图6。

实验中为向学生说明NAO机器人的颜色识别方式，设计可控制变量的实验，即在保证其他实验条件不变的情况下，通过使用图像编辑软件，仅改变待识别图像的颜色信息。让NAO再次识别，观察NAO并不會将错误颜色信息的图像识别成为已存储在视觉识别数据库中的图像。多次重复实验后，让学生自行结合已学理论知识进行总结验证，提高学生的实验操作能力。

在建立数据库成功识别图像的基础上，鼓励学生开拓思维，基于实验开发平台自行设计拓展应用。如使用switch case语句指令盒，实现NAO机器人的人机交互功能，拓展应用如图7所示。

4  拓展应用实验

4.1 抓取设计

NAO机器人具有多自由度，身体关节灵活，可基于时间的编程进行动作变化。

时间轴分为动作层和行为层，在时间轴编辑器可设定关节动作。考虑到教学过程的普适性及灵活性，通过记录模式编辑动作进行动作设计。使用Choregraphe平台指令盒库中的Animation指令盒，点击进入该指令盒后，打开时间轴编辑器，激活记录模式，即可进行NAO动作的记录[7]。在行为层中添加Ear LEDs指令盒，配合时间轴中的动作让NAO的抓取动作更具活力，实验演示见图8。

学生在编写行为和动作时，需要深入了解Choregraphe模块化编程的框架搭建，提高了学生问题分析能力和逻辑思维能力。在设计NAO的手部抓取动作时，学生需要对NAO机器人控制关节的自由度、身体平衡、运动控制等相关知识背景进行深入学习，是理论联系实际的过程，详见图9。

4.2 NAOMark定位

Choregraphe附带了一个自动检测NAOMarks 的算法，可以辨认出已定义的标志。该算法会检测NAOMarks独特的形状，并根据该标记内白色和蓝色区域的大小来划分。Nao可以把直接寻找目标物体的任务转换成通过探测NaoMarks来间接定位目标物体[8]。其中部分标志见图10。

本文设计的实验中使用Mark64、Mark112、Mark130、Mark170进行识别检测。采用长宽均为5cm的NAOMarks标志，黑色背景白色形状。调整转椅高为58cm，确保NAO机器人在选择上方摄像头后能够完整识别到NAOMarks，见图11。

实验将NAOMarks标志贴在指定垃圾桶上，学生通过小组合作的形式设计实验路线及对NAO进行运动控制，保证NAO能够平稳、正确地定位到垃圾桶的位置，完成垃圾回收实验的全部过程。学生使用Choregraphe平台进行图形化编程，最终实现NAO机器人可以按照既定路线行走，并且通过编程设计识别到不同的NAOMarks标志即触发不一样的行为动作，指导学生团结协作，为NAO设计不同的行为指令以实现更多具有创新性的想法。

4.3 实验结果

实验建立起一个小型图像数据库，使用Vision Reco.指令盒进行视觉识别。实验过程中保证实验环境干净且待学习图像有足够的颜色及形状轮廓信息，确保NAO能够识别不同垃圾图像并进行有效分类。同时设计拓展应用实验，在时间轴编辑器中为NAO设计手部抓取动作，使用NAOMarks算法进行定位信息处理。由于NAO手部不同位置的摩擦力不同且待抓取物体形状大小不同，抓取精度不高，需人为辅助进行。

实验结果表明，NAO对已建立在数据库中的图像特征信息采集完整度好，識别准确度高、最终能够完整地实现NAO对垃圾的识别、抓取与定位垃圾桶的一系列实验设计过程。

5  结语

本文设计了一种基于NAO实验平台的垃圾回收创新实验，有效联系起高校人工智能课程的理论学习和实践操作。该实验涉及融合NAO机器人的视觉系统、自由度控制、传感器、目标定位等多方面的理论知识，使用Choregraphe平台对不同类型垃圾的关键特征进行学习，进而快速识别出垃圾类型的应用拓展，为智能机器人方面的课程教学提供一种新的思路。

学生能够实现从简单动作的调试到自主拓展功能的开发，用自主性学习补充传统课堂教学，培养学生主动学习的能力[9]。教学过程中不必局限于现有的指令模块进行动作设计，可以更改或者书写新的代码实现需求，从而激发学生的学习兴趣，提升教学内容的教学效果[10]。让学生熟悉图形化指令盒的编程构建，以及机器人视觉学习和动作的控制方法，大大提高了教学效果和教学趣味性。鼓励学生对实验结果多次重复，培养学生严谨的探究思维，为后续开展的人工智能高级实验实训奠定良好基础。

参考文献

[1] 杨杰.NAO机器人对目标红球识别与视野中心追踪策略[J].科教导刊：电子版，2017（6）：159-160.

[2] 郭钺.基于NAO机器人在高职人工智能机器人专业教学中的应用[J].科学大众（科学教育），2019（4）：126.

[3] 王振，张星.NAO机器人平台的创新实验设计与实现[J].实验室研究与探索，2016，35（12）：156-159.

[4] 高唯，王晓丽，李杰.基于仿人机器人相关竞赛教学研究[J].信息系统工程，2019（10）：170-171.

[5] 王大东.NAO机器人程序设计[M].北京：清华大学出版社，2019：165-168.

[6] 梁付新，刘洪彬，张福雷，等.基于NAO机器人的目标识别方法[J].计算机工程与设计，2017（8）：2235-2239

[7] 宗鹏程.基于NAO机器人的视觉目标检测与跟踪[D].北京：华北电力大学，2015.

[8] 鹿天柱，罗罹，胡开亮.基于Nao机器人的捡垃圾流程及算法研究[J].电脑知识与技术，2015，11（11）：154-155.

[9] 陈小平，罗文坚.以机器人实验为载体的实践创新培养体系研究[J].研究生教育研究，2011（3）：48-52.

[10] 齐晶薇.以机器人教学和实验平台为载体培养大学生实践创新能力[J].科技资讯，2018，16（32）：186-187.