基于DDPG算法的电动拖拉机双电机耦合传动参数优化*

张勇刚，刘孟楠，胥文翔，徐立友

(1.河南科技大学车辆与交通工程学院,河南洛阳,471003; 2.洛阳拖拉机研究所有限公司,河南洛阳,471039)

0 引言

中国正处于绿色农业的转型时期,在碳达峰、碳中和的环境政策下,农业机械对排放与效率的要求变得更加严格[1]。农业生产中对农作物产量和品质的要求越来越高,在农业机械领域对拖拉机的精准控制与自动化作业提出了更高的要求,而电动拖拉机在精准控制和绿色农业中发挥着重要作用,因此提高电动拖拉机的传动系统性能已经成为重要的研究方向[2-3]。

国内外学者已经在电动拖拉机做了大量的工作,Chen等[4]提出了一种基于双电机耦合驱动模式的电动拖拉机动力传动系统参数匹配与优化设计方法;李书苑等[5]对多种双电机耦合方案进行参数化建模,有限元分析,并结合动力学评估最终选出一种最优传动方案;Li等[6]建立了双电机电动拖拉机传动系统的数学模型,采用对偶的协调控制策略对电机驱动系统进行设计,得到了双电机的功率分配规律;徐立友等[7]采用基于模块的设计方法,搭建了可满足90 km以下的电动拖拉机综合测试平台,为电动拖拉机测试提供了设备支撑;盛继新等[8]采用双挡机械自动变速器(AMT)的传动方案,建立了多目标遗传算法的参数匹配模型,为优化双速比自动变速器提供了参考。

综上所述,双电机耦合传动系统经过不断的论证和发展逐渐成为电动拖拉机一种主流的传动方案,但是传动系统耦合速比的优化研究较少;本文以东方红1804拖拉机为研究对象,通过静态计算在满足拖拉机各项性能的前提下求出传动系列最小传动比;然后利用Simscape搭建双电机耦合传动模型,并且在Simulink中搭建电动拖拉机仿真环境;在静态优化的基础上,采用DDPG算法在运输模式与旋耕模式对双电机耦合传动比进行动态优化,得到传动比的最优值。

1 双电机耦合传动结构方案

电动拖拉机双电机耦合传动系统结构三维模型如图1所示。驱动电机和PTO电机连接在变速器的前部;主输入轴和副输入轴一端连接在变速器壳体上,另一端分别连接在行星架太阳轮上;行星架作为动力输出元件,分别输出给主减速器和PTO轴。

图1 电动拖拉机动力耦合三维结构

双电机耦合传动原理如图2所示,当PTO轴负载较大时,主电机动力将通过中间轴传递给PTO轴;当驱动轴负荷较大时,PTO电机将动力通过中间轴传递给驱动轴;最终驱动力通过主减速器传递到后桥;在运输模式和旋耕模式下,两个同步器和两个制动器能够组合出四种动力传递路线。

图2 双电机驱动系统原理图

2 传动系统驱动模式与参数计算

2.1 驱动模式

拖拉机有三种典型工作模式即运输模式、耕犁模式、旋耕模式,其中运输模式和耕犁模式都属于大负荷拖拽作业,并且动力都是通过驱动轮输出,因此在优化计算中只计算一种模式[9]。

在运输模式下,PTO轴无动力输出;当拖拉机需求的动力较小时,动力由驱动电机单独提供;此时为驱动电机单独驱动;动力由主电机传递到驱动轴,齿圈锁死,通过主减速器传递到车轮;利用杠杆法[10]与图论法[11]得出转速与转矩,计算如式(1)所示。

(1)

式中:nq——驱动电机输出转速,r/min;

nb——输出到半轴的转速,r/min;

Tq——驱动电机输出转矩,N·m;

Tb——输出到半轴的转矩,N·m;

k——行星轮系特性参数;

ia——主减速器传动比。

当拖拉机需求的动力超过驱动电机的高效区间时,PTO电机参与驱动,转矩、转速计算如式(2)所示。

(2)

式中:np——PTO电机输出转速,r/min;

i56——PTO电机输入轴到中间轴传动比,r/min;

i78——中间轴到驱动轴齿圈传动比,r/min;

Tp——PTO电机输出转矩,N·m。

在旋耕模式下,拖拉机驱动轮既要输出驱动力,PTO轴又要输出旋转动力;要同时考虑两种动力输出;但是考虑到旋耕模式下,拖拉机前进阻力较小,动力主要从PTO输出,因此主要讨论PTO的动力输出。

当PTO功率需求较小时由PTO电机单独提供动力,PTO转速、转矩计算如式(3)所示。

(3)

当PTO轴负荷超过PTO电机的高效区间时,驱动电机将一部分动力传递到PTO轴,PTO轴转矩、转速计算如式(4)所示。

(4)

根据拖拉机的典型工作模式,切换相应的控制器,改变动力耦合方式,对于运输模式和旋耕模式,驱动系统元件动作顺序如表1所示。

表1 不同作业工况电动拖拉机控制元件动作表

2.2 传动系统参数选取

为同时满足弯曲疲劳强度和接触疲劳强度,齿轮模数按齿根弯曲疲劳强度设计;分度圆直径按齿面接触疲劳强度设计。

(5)

式中:d1t——试算分度圆直径;

KHt——试选载荷系数;

φd——齿宽系数;

T1——主动齿轮传递转矩;

u——传动比;

ZH——区域系数;

ZE——弹性影响系数;

Zε——重合度系数;

Zβ——螺旋角系数;

σH——接触疲劳许用应力。

利用以上计算方法,参考东方红1804拖拉机性能参数,根据拖拉机作业功率需求和变速器结构原理图通过静力学计算得出齿轮参数配置表,如表2所示。

表2 动力耦合装置主要参数

3 仿真模型搭建

3.1 电机效率模型

动力系统采用了两台永磁同步电机,选择合适的型号,避免功率过剩造成浪费[12];本文根据东方红1804拖拉机的功率需求,通过动力匹配得到驱动电机和PTO电机主要参数,如表3所示。

表3 双电机耦合传动系统主要参数

为了获得电机效率模型,搭建了测试平台,通过台架试验测出转速、转矩和母线电压、电流,电机效率计算式如式(6)所示。

(6)

式中:Pout——电机机械输出效率;

Pin——电机输出功率;

U——母线电压;

I——母线电流;

Tm——电机转矩;

nm——电机转速。

通过试验测出电机在对应转速和转矩下效率的数据,驱动电机,PTO电机效率如图3所示。根据电机效率模型得出驱动电机高效工作区间集中在800～2 500 r/min,PTO电机高效工作区间集中在2 000～4 500 r/min;符合拖拉机工作需求。

(a) 驱动电机

3.2 搭建DDPG算法模型

深度确定性策略梯度网络(Deep Deterministic Polity Gradient,DDPG)算法是一种无模型、非策略的强化学习方法;能够利用模型的输入和输出数据在自我学习的基础上建立被控对象的数学模型,通过系统反馈给被控对象并实现最优控制。DDPG算法是DQN和策略梯度的结合算法,不仅可以实现DQN单步更新,而且保持了确定性政策梯度数据的高利用率和优势的趋同;观测空间支持连续与非连续两种状态,动作空间支持连续状态;非常适合电动拖拉机耦合传动的状态仿真;DDPG算法流程与模型配置如图4所示。

图4 模型与优化算法工作流程

函数的目标值为执行奖励值与未来折扣到当前奖励的和;为了计算累积奖励,智能体将下一个观测从抽样经验传递给目标动作来计算下一个动作,在通过将下一个动作传递到critic来获得累积奖励。通过最小化所有采集应验的损失来更新critic参数。使用下面的采样策略梯度更新执行参数,以最大化预期折扣回报。

(7)

式中:Gai——critic输出相对于actor网络计算的动作的梯度;

Gπi——actor输出相对于actor参数的梯度;

∇θ——每个批次计算的奖励值;

M——每个批次计算个数;

Si——观测值;

θ——随机参数值。

在奖励函数的设计中考虑了4个参数,分别是驱动电机的效率、PTO电机效率、目标车速跟随误差和总传动比,并由4个参数构建奖励函数,如式(8)所示。

r=-(0.1Ed+0.1Ep+0.3Es+0.05R2)+100B

(8)

式中:r——单次循环奖励值;

Ed——驱动电机效率;

Ep——PTO电机效率;

Es——实际车速与目标车速的差值;

R——耦合传动比;

B——动作空间边界值。

在m脚本中配置算法环境、仿真时间和步长;构建critic和actor深度网络框架,使用rlDDPGAgent函数生成智能体,配置智能体训练参数;在simulink中搭建算法模型,为算法训练创建环境接口;设置观测器模块,评价器模块和动作模块。

3.3 双电机耦合驱动系统模型

耦合传动模块如图5所示。

(a) Simscape物理模型

在SOLIDWORKS中构建动力耦合机构参数化模型;将模型文件导入Simscape中;调整模块位置关系,添加转动约束与齿轮约束,添加物理驱动信号,验证传动系统符合设计要求。添加驱动力后运行物理模型,输入轴将在驱动电机扭矩的作用下进行转动,经过齿轮传动将动力从行星架输出,通过测量输出验证模型。

3.4 搭建电动拖拉机仿真环境

设置电动拖拉机为后轮驱动,添加魔术公式轮胎,路面倾斜角度为,忽略空气阻力;建模中仅考虑拖拉机纵向力构建拖拉机参数化模型[13-14]。通过采集驾驶员加速踏板、制动踏板和PTO操纵开关的信号,在Stateflow实现工作模式切换,仿真环境模型如图6所示。

图6 电动拖拉机仿真环境模型

仿真环境中分别建立了驾驶员模型,双电机模型,传动系统模型,拖拉机运动模型以及模式切换模型。

4 齿轮速比仿真分析

在传动系统结构和动力选型参数确定以后,齿轮速比的选择是影响拖拉机性能的重要因素,齿轮速比的优化是一个多目标多变量优化问题[15-18];在静态优化的基础上借助拖拉机动态工况能够调节齿轮速比在可行域的偏移,求出在动态优化约束条件下的最优值。

4.1 运输模式

训练采用两种代表工况,在运输模式下,拖拉机被施加恒定载荷,车速从0加速到20 km/h过程中,PTO电机动力经过Z5/Z6,Z7/Z8与驱动电机动力耦合传递到驱动轴。在训练过程中两个电机的功率耦合关系由DDPG算法训练生成,保证每对传动比都匹配适合的功率耦合关系,排除固定的功率耦合关系对不同传动比的影响,提高最优传动比的可靠性。训练结果如图7所示。

(a) 评价值与训练周期关系

在训练次数接近500次时评价值逐渐趋于稳定,此时奖励最大,两对齿轮传动比如图7(b)所示;可以看出此时Z5/Z6速比逐渐稳定在3.2,Z7/Z8速比逐渐稳定在2.5;根据仿真结果得出运输模式下优化后的传动比相比优化前降低了0.7;通过传动系统参数匹配,确定Z5/Z6的齿数比为30/96,Z7/Z8的齿数比为34/80。通过优化前后仿真对比得到驱动电机和PTO电机控制关系与效率,如图8所示。

(a) 静态优化Z5/Z6=26/93,Z7/Z8=31/99

动态优化下拖拉机最先加速到20 km,比静态优化下提前0.3 s;加速过程与匀速行驶过程中静态优化下电机平均效率为82%,动态优化下电机平均效率为92%,电机效率提升了10%。

4.2 旋耕模式

在旋耕模式下,对PTO轴施加固定载荷,拖拉机加速到15 km/h后匀速前进,此时拖拉机工作模式由1迅速切换为2,驱动电机部分动力经过Z1/Z2和Z3/Z4传递到PTO轴;拖拉机加速到15 km/h后并保持匀速行驶。经过训练得到最佳传动比关系如图9所示,经过500次仿真,Z1/Z2的速比稳定在2.6,Z3/Z4稳定在2.2,由传动系统参数匹配确定Z1/Z2的齿数比为34/88,Z3/Z4的齿数比为36/79。旋耕模式下优化后的传动比降低了1.6。

(a) 旋耕模式训练次数

分别在两种不同的传动比下,仿真得出对应的驱动电机和PTO电机的控制规律与效率,如图10所示。PTO轴采用定转速输出模式,从仿真结果得出,在动态优化和静态优化下PTO轴都能很快地达到350 r/min,并且能够保持稳定输出;动态计算下拖拉机2.5 s时达到目标车速15 km/h,静态优化下3.5 s时达到目标车速,加速时间提前了1 s;动态计算下驱动电机,PTO电机工作的平均效率为95%,比静态优化下提高了5%。

(a) 静态Z1/Z2=31/99,Z3/Z4=29/93

5 结论

1) 依据东方红1804拖拉机参数,通过静态计算确定电机选型与双电机耦合传动系统速比;然后对双电机耦合传动系统建模,采用DDPG算法,以耦合传动比最小,加速时间最短,电机效率最高构建目标函数;通过Simscape搭建拖拉机传动系统模型关联到Simulink中创建的拖拉机仿真环境;迭代过程中自动匹配电机耦合规律,排除因固定耦合规律对不同传动比的影响。

2) 选择在较大负荷下的运输模式和旋耕模式进行优化,动态优化结果显示:在运输模式下,传动比下降了10.9%,拖拉机从0～20 km/h时间提前了13.6%,电机综合效率提升10%。在旋耕模式下,传动比下降了25%,拖拉机从0～15 km/h时间提前了28.5%,电机综合效率提升5%,PTO跟随性能优化前后基本保持一致。