语音技术在农业智能化中的应用展望

刘继展， 侯广宇

(江苏大学 农业工程学院， 江苏 镇江 212013)

当前，人们已经进入一个崭新的智能时代，在农业智能装备上加入语音的研究是一个新亮点.农业智能装备作业时，安全性还比较低，出现问题不能及时控制，舒适感不够，把语音的优势发挥到农业智能装备上，增加了农业智能装备作业的便捷性，可以轻松地获取作业信息并及时控制，提高舒适性.

单爱军[1]提出了基于语音合成芯片的智能语音播报系统，为播种监视器配备语音播报功能，试验结果表明语音可以方便获取工作信息，解决了传统播种数量信息难以获取的问题.李桢等[2]提出了基于关键词语音识别的农业信息语音服务系统的研究，将关键词语音识别技术及语音合成技术应用于语音服务系统，解决语音服务系统按键繁琐、交互性差等问题.高登峰等[3]通过在卷积神经网络中加入跳跃连接对语音进行了增强.赵忠华等[4]提出了建立快速独立分析提取FASTICA语音盲源分离方法.刘雪燕等[5]基于语音识别设计了智能灌溉系统，在土壤湿度不满足植物生长需要时，通过语音命令对灌溉系统进行控制，系统运行稳定，但是对灌溉情况信息获取难度大，没有把语音的优势发挥出来.

从产业到休闲是服务型农业新业态，休闲农业是利用农业景观资源和农业生产条件发展观光、休闲、旅游的一种新型农业生产经营形态[6].休闲农业在我国已呈全面发展态势，产品日渐丰富，规模不断扩大，随着新业态的不断发展，农业装备的作业方式面临转型升级，而语音提示、语音报警、视觉语音、语音控制4个语音技术在其中起着辅助支撑的重要作用.

1 应用前景

语音作为人与人沟通最方便的方式，可以解放人们的双手，有信息的丰富性，降低了空间的距离限制[7]，当前语音便捷性的优势更多在家用服务中体现.因老年人本身环境感知能力弱和记忆力消退，可以通过语音提示功能提示老年人或者残疾人温度信息和穿衣数量[8]；通过语音识别对用户情感做出判断，实现智能扫地[9].语音在服务机器人领域已经有较多的应用，服务机器人多是室内规则的空间环境，与服务机器人的应用场景相比，农业智能装备工作环境多是开放空间，面对对象更复杂、更特殊，自主作业出现错误时没有及时信息反馈，操作者察觉到再去遥控已来不及，应急控制能力低.为提高农业装备作业质量，语音在农业上应用极少，在农业装备上仅存在的语音应用比较简单，太过单一化，没有整套的语音技术研究.

因此，针对农业工作环境的复杂性、特殊性，用户可以通过语音对农业智能装备进行实时控制，通过语音提示对工作信息实时获取，给用户轻松舒适感.面对休闲农业，语音是改变人机交互效率的办法，未来语音技术在农业智能装备发展上潜力巨大，将为人机交互带来巨大的改变.

语音提示指通过语音播报获取农业智能装备作业情况信息，语音提示作用是通过语音播报的方式获取作业信息情况.传统作业信息获取方式通过眼睛看，需要人高度集中，极大增加了工作量.而在农业装备上应用语音提示功能，用户只需要通过听觉的方式接收语音信号，实时作业反馈信息就能轻松获取，这能够缓解其视觉劳累，从而避免因疲劳引发相关错误操作.语音提示应用在秧苗检测上[10]，对弱苗与病苗检测信息进行语音播报，就不用时刻去观察，通过语音提示的方式获取信息，省去视觉的疲劳.

语音报警指作业出现错误时自动播报对应语音信息进行报警，用户可以通过报警信息及时去调整，减少损失.传统语音报警以一种尖鸣声和光闪提示为主，没有故障信息进行播报，太过单一化，如果语音报警中包括故障的信息，用户可以针对性去调整作业方式，减少损失.语音报警应用在无人农机作业时[11]，当旁人闯入无人农机作业区域，机器本身传感器会检测到危险，进行语音报警提示，从而降低危险系数，当机器本身出现故障开始冒烟时，传感器会自动报警，用户可以及时解决故障,减少损失.

语音控制指通过语音去控制农业装备的运动状态，语音控制让用户可以及时调整农业装备，增加便捷性.传统农业机器人需要预先编写程序并载入控制系统，通过面板屏幕或机械按钮来交互控制，要求手眼紧密协作，使操作复杂繁琐，控制人员容易疲劳[12].当在农业装备上应用语音控制功能，不需要操作人员接触农业机械本体，通过语音就可在相对较大的空间范围内下达控制命令，解放人们的双手,尤其对于老年人和不方便人士，语音提供了一种较好的控制方式，解决人机协同问题[13].当语音控制功能应用在无人农机作业时，出现作业错误机器无法自己调整，发出报警信息，人可以通过语音去控制无人农机运动.

视觉语音指对作物信息实时识别并以语音问答的形式进行反馈.传统人们需要根据多年经验去判断作物信息，后来发展到基于深度学习对作物信息识别，只能单张图片输入进行识别却不能实时信息反馈.而在农业装备上应用语音交互功能，可以实时获取农作物信息，轻松估算出农作物适宜获取的时间信息，从而减少农业损失与用工成本，当语音交互应用在葡萄采摘机器人上时，可以一边对葡萄进行采摘，一边对葡萄成熟度信息进行识别，判断出当前时间段是否为最佳采摘时间，相差时间间隔较大时，调整采摘时间，减少农业损失[13].

2 语音框架

2.1 模块化硬件框架

针对农业作业情况复杂和信息获取难度大的问题，提出两种实现语音提示和语音报警功能的方案，通过语音播报的形式提示人们作业信息.

1) 通过传感器去识别判断作业状态，把作业信息变化发给语音提示模块，其中语音提示模块中加载语音提示信息，当发生作业调整或者识别出故障信息时，语音提示模块提示声音会变大，从而实现语音提示与语音报警功能.

2) 通过使用语音提示模块，当农业装备控制器发出控制指令时，控制指令会发送给执行器，同时也会发送给语音提示模块，实现语音提示功能，这种语音提示功能在离线情况下就可以使用.

针对农业智能装备作业难度大的问题，提出离线与在线情况下分别语音控制机器运动.

1) 离线情况下通过一种语音控制模块去接收语音信息，将识别到的语音信息与控制关键词匹配，匹配成功后发出对应控制命令，从而实现语音控制.

2) 在线情况下在ROS系统下实现语音控制，ROS中使用了CMU Sphinx和Festival开源项目中的代码，可以发布独立的语音识别包，而且可以将识别出来的语音转换成文字，发布到控制命令话题上，从而在ROS中实现语音控制，也可以利用科大讯飞或者百度AI语音识别SDK实现语音识别文字，从而发布到控制命令话题上，实现语音控制[14].

针对农业智能装备作物信息获取难度大的问题，提出在离线与在线情况下实现不同视觉语音功能，对图像识别后的信息进行语音播报.

1) 在线情况下通过相机对图像信息进行采集，然后在深度学习框架下对图像进行识别，把识别后的信息储存于深度学习数据库中，MIC去接收语音信号，当人没问到图像信息时，通过云端服务器进行回答，在python编译语言环境下通过语音播报模块进行播报，当问到图像信息时，将深度学习数据库中储存好的信息取出在python编译语言环境下进行语音播报[15].

2) 离线情况下，在python环境中，把图像识别后的文字信息经过python语音识别包进行离线文字转语音，从而实现图像识别信息语音播报[16].

语音是人类交流最自然的方式，语音技术可以解决用户在复杂场合时，普遍感到困扰的一些关键问题.4个语音功能可以分别实现不同操作要求，基于语音技术的模块化框架具有主流通用性，视觉语音可以对作物信息进行实时反馈，语音控制通过语音对农业装备进行控制调整，语音提示作业信息，随着人工智能的不断发展，各个装备层级的应用十分重要[17].一个典型的涵盖上述各个层级的硬件框架应该包括核心控制模块、图像信息采集模块、多模态传感器模块(传感器接收语传感器信号处理)、语音播报模块、网络模块、单个控制模块、电源模块、语音接收模块，如图1所示，同时运行不同的模块组合，分别实现语音提示、语音报警、语音控制、视觉语音功能.

图1 模块化硬件系统

2.2 模块化软件框架

将成套控制软件分为农作物信息检测单元、作业信息检测单元、接收语音信号单元、作业命令控制单元、语音播报-报警单元，在ROS开发环境中，通过python编译语言建立控制软件系统框架[18-19]，并对各功能单元进行模块化编程实现整套系统的多功能同步协调运行，通过不同的单元组合实现不同的功能，如图2所示.

图2 模块化软件系统

3 语音功能实现

3.1 语音提示与语音报警

提出作业信息检测-语音提示双激发控制策略，在农业智能装备上安装多模态传感器模块，基于作业信息检测单元的农业装备作业信息，由语音播报-报警单元驱动扬声器装置，实现农业装备作业信息语音提示，当多模态传感器察觉到工作异常，立即进行语音报警.

语音提示与报警主要由多模态传感器模块、单个控制模块和语音播报模块组成，如图3所示.农业装备正常工作情况下，控制器模块处于扫描状态，持续扫描传感器模块动作情况[20].当农业机械转弯时，传感器模块动作，动作情况由I/O口输入控制器模块，控制器模块向语音芯片发出放音指令，发出放音指令后，控制器立即恢复传感器扫描模式.语音芯片接收到放音指令后，开始播放传感器对应的语音提示信息，播放过程中，若新传感器动作，旧的语音播放停止，新的语音播放随即开始.当农业装备开始不正常工作时，语音芯片发出报警命令.

3.2 语音控制

提出特殊情况下语音控制农业装备策略，基于接收语音信号单元的作业控制信息，通过作业命令控制单元控制单个运动机构.

语音控制由语音接收模块、单个控制模块组成，如图4所示.农业装备工作过程中，用户的语音进入MIC后处理电路进行频谱分析并与关键词匹配识别，语音接收模块将把处理过的数据传到单个控制器模块上，进而控制农业装备运动.

图4 语音控制

3.3 视觉语音

提出农作物信息检测-语音播报策略，将农作物信息检测单元得到的农作物信息与接收语音信号单元的语音问答信息进一步融合，完成田间作物品种与成熟度信息储存和语音播报.视觉语音由核心控制模块、图像信息采集模块、语音接收模块、语音播报模块、网络模块、电源模块组成.

农业装备工作过程中，相机对图像信息进行采集，然后在深度学习框架下对图像进行识别，把识别后的信息储存于深度学习数据库中，MIC去接收语音信号，当人没问到图像信息时，通过云端服务器进行回答，在python编译语言环境下通过语音播报模块进行播报，当问到图像信息时，将深度学习数据库中储存好的信息取出在python编译语言环境下进行语音播报.

4 葡萄采摘机器人的应用

面对休闲农业，当葡萄采摘机器人作业时，导航系统给运动控制器一个命令时，多模态传感器接收到信号，把信号发给语音模块[17]，对信息进行播报.多模态传感器同时会自动检测危险信息和是否正常作业信息并语音播报预警，听到警告时，葡萄采摘机器人无法自动调整，可以通过语音控制调整，省去了用户去控制的时间，降低危害风险，用户可以轻松地获得无人农机作业信息并语音控制，提高葡萄采摘机器人作业效率.同时葡萄采摘机器人通过深度相机获取农作物图像数据，从训练完成的深度学习模型中获得农作物的品种和成熟度信息，将信息存储于建立好的深度学习数据库中，被问农作物品种和成熟度信息时，可以从深度学习数据库中搜索相应的信息并语音实时反馈，人们可以轻松估算出农作物适宜获取的时间信息，从而减少农业损失，工作流程如图5所示.

图5 多模块工作流程

5 结 论

1) 农业智能装备工作环境复杂，自主作业出现错误时没有及时信息反馈，操作者察觉到再去遥控已来不及，应急控制能力低，把语音的功能应用到农业智能装备上可以解决这些问题.

2) 语音技术主要应用在农业智能装备领域，具有很强的可移植性，面对都市农业把语音提示、语音报警、语音交互、语音操控功能结合在一体，极大提高了农业智能装备的智能化、无人化的作业效果，应用前景看好.

3) 语音是改变人机交互效率的办法，未来语音技术在农业智能装备发展上潜力巨大，将为人机交互带来巨大的改变，语音技术可以解决用户在复杂场合时，普遍感到困扰的一些关键问题，语音在智慧农业4.0模式等领域有着重要的应用价值.