基于IL-HMMs预测模型的地下水埋深预测研究

2018-01-17 08:00岳德鹏YANGDi张启斌
农业机械学报 2017年12期
关键词:马尔可夫增量样本

苏 凯 岳德鹏 YANG Di 于 强 马 欢 张启斌

(1.北京林业大学精准林业北京市重点实验室, 北京 100083; 2.佛罗里达大学地理系, 盖恩斯维尔 FL32611)

引言

地下水是我国北方尤其是西北地区重要供水水源[1],是维持区域社会经济发展的首要基础,对维护区域生态可持续发展起着重要作用[2]。由于地下水持续过量开采引起的地面沉降以及生态恶化问题时有发生,有必要对地下水埋深动态变化进行研究[3]。根据地下水位监测资料,对区域的地下水现状水位进行预测跟踪,监测水位变化状况,防止地下水位持续下降,为区域地下水资源开发利用和保护提供重要技术支撑[4],从而达到水资源的可持续开发利用的目的。

目前国内外用于地下水位埋深预测的方法主要有时间序列分析法、神经网络法、马尔可夫法、卡尔曼滤波法[5]及基于机器学习的支持向量机(SVM)法。尽管这些方法在实际应用中有一定的预测效果,但是在资料相对缺乏时误差往往较大而达不到预测精度。如:传统的时间序列分析法与神经网络法,对时间序列的平稳性、正态性、独立性有较高要求,且不适用于复杂时间序列;支持向量机(SVM)法尽管有效地解决了数据的非线性、小样本等问题[6],但仍有不少问题,如SVM的核函数参数的选择对运行结果影响很大,而核函数参数的选择通常需要依靠经验[7]。另外传统的机器学习方法需要保存所有的历史训练数据,每当有新训练数据加入时,都需要从头开始重新训练以保证模型对新数据的适应性,浪费大量的时间、存储和计算资源[8]。IL-HMMs预测模型在原先已训练好的模型基础上,采用增量学习的方法,调整因新训练数据加入的模型参数,使之能适应新设定的预测模型。

本文选择西北干旱典型县域磴口县为研究区,引入观测变量的随机过程,将增量学习引入到模型优化中,改进马尔可夫模型,并根据磴口县水务局历年地下水位埋深测量数据,建立地下水位埋深预测模型,对地下水埋深进行预测研究。

1 材料与方法

1.1 研究区概况

磴口县位于内蒙古自治区巴彦淖尔市西南部,地处东经106°9′~107°10′,北纬40°9′~40°57′,地处中纬度内陆,属中温带大陆性季风气候,是河套平原与乌兰布和沙漠的结合部。境内海拔1 030~2 046 m,主要地貌类型可划分为山地、沙漠、平原等。地下水资源埋深浅、易开采,地下水资源比较丰富。水资源分布主要有3部分:河套地区地下水,埋藏深度0.5~3 m之间;沙区地下水,埋藏深度在3~10 m之间;山前洪积扇地下水,水量较为丰富,一般埋深在3~15 m[9]。磴口县生态系统类型为荒漠、人工绿洲和农牧区,几种生态系统交错交织[10]。总面积4 167 km2,其中乌兰布和沙漠占了68%的面积。研究区概况如图1所示。

图1 研究区概况Fig.1 Overview of study area

1.2 数据来源与处理

地下水位埋深实测数据从磴口县水务局获得。资料系统由于观测误差以及其他扰动影响需要对数据中奇异值进行适当的处理。数据选择磴口县境内2005—2016年3组地下水观测井实测数据,A组:河套地区地下水,埋藏深度0.5~3 m之间,选取观测井:DJ1、DJ3、DJ5、DJ7、DJ8;B组:沙区地下水,埋藏深度在3~10 m之间,选取观测井:巴1、巴2、巴5、巴9、巴11;C组:山前洪积扇地下水,水量较为丰富,一般埋深在3~15 m,选取观测井:1号井、2号井、3号井、4号井、5号井,通过预测对模型精度进行验证分析。

1.3 隐马尔可夫模型

隐马尔可夫模型(Hidden Markov models, HMMs)是基于马尔可夫模型的优化改进,其中的状态不确定或不直接可见,以一定的概率通过观察量反映[11]。模型由两部分组成:第一部分是用地下水埋深状态转移概率矩阵A和初始状态分布π描述状态变量间转移的一阶马尔可夫过程;第二部分是由地下水埋深状态输出概率分布矩阵B描述状态与观察序列之间对应关系的观测变量的随机过程[12]。HMMs组成示意图如图2所示。

图2 隐马尔可夫过程
Fig.2 Hidden Markov process

HMMs模型

[13]

可以看作是一个二重马尔可夫随机过程,由具有状态转移概率的马尔可夫链和输出观测值的随机过程组成,该模型所经过的状态序列未知,其状态通过观测序列的随机过程表现出来

[14]

1.4 基于增量学习的隐马尔可夫模型

POLIKAR等[15]提出增量学习(Incremental learning,IL),该算法以不断积累知识为目的,通过在学习未知知识的同时尽可能保留已学的知识来实现[16]。本文将增量学习的思想加入HMMs样本识别后的再训练过程中,为基于传统HMMs地下水埋深预测设计出一套特定的增量学习算法(Incremental learning hidden Markov models based IL-HMMs),它包含了集成训练(Ensemble training,ET)与集成学习(Ensemble learning,EL)两部分。ET[17]包括利用地下水埋深单个月数据训练集中的每一个训练样本,分别单独训练出一个HMM,在所有样本训练完毕后,再将这些训练好的模型融合成一个单独的HMMs。EL则是应用在识别每一个地下水埋深测试样本之后进行的模型改进。采用增量学习算法,当分类模型更新时,通过对已学习知识进行汇总和分析,将少量的历史数据与新数据混合,用所得到的新训练集对模型进行再训练,以达到学习新知识的目的[18]。该模型具有4个特点:①通过增加新数据获得新的知识,来提高模型适应性。②保留一定的历史知识,防止出现灾难性遗忘。③在学习过程中不需要保留历史训练样本,节省存储空间,降低运算成本。④可识别和适应新数据中出现的新类别标签。

在HMMs识别一个测试样本O并输出识别结果δi后,如果似然概率lgP(O|δi)小于为这个模型δi所预先设定阈值PThres,则认为这个地下水埋深测试样本O有较高的置信度,可以用于模型的更新操作。利用这个单样本O训练出一个新的HMM′,并将之前已经训练好的模型δi进行融合。

假设初始模型为δt-1=(At-1,Bt-1,πt-1),表示所有的训练+测试样本HMM更新至时刻t-1时的状态,当t时刻时利用新数据样本Ot训练好的HMM模型表示为δ′t=(A′t,B′t,π′t)。

利用EL为HMM进行增量学习以产生δt=(At,Bt,πt)的计算为

(1)

(2)

(3)

其中

Wt=Wt-1+W′t

(4)

式中Wt——到t时刻的权重累加值

Wt-1——到t-1时刻的权重累加值

W′t——t时刻的权重

在实际操作中,为减轻增量学习的计算量,在EL的计算过程中所有的Wt取相同值,则上述公式可简化为

δt=δt-1+μδ′t

(5)

式中μ——权重

本文中,μ定义为学习率(Learning rate),δ为初始状态的HMM,δ′为使用新数据样本O训练后的更新后的HMM,学习率μ表示为在学习新知识与遗忘旧知识之间的关系,μ越大模型更倾向于遗忘旧的知识,更适应新的环境;μ越小模型则更倾向于保留通过大量样本学习得到的旧知识[19]。

为方便计算机计算,采用比例因子修正最后的输出概率,以避免产生数据下溢现象。修正公式简化式为

(6)

式中N——预测样本数

修正后的输出概率是最小的输出概率所对应的模型,判断测试样本是否拥有足够的可信度,利用增量学习改进模型参数的判别条件为小于所设定阈值PThres。

为方便阈值设定,采用的归一化方法为

(7)

式中κ——比例因子,取0.8

所以将样本用于增量学习模型的最终判别式为

lgP(O|δ)

(8)

1.5 评价指标

本文采用平均绝对误差与均方根误差作为误差评价指标,对预测效果进行检验[20]

(9)

(10)

式中φMAE——平均绝对误差

yi——序列的真实值

2 结果与分析

2.1 预测结果分析

以2005—2012年的地下水埋深数据作为增量学习的初始状态变量,增量间隔为1个月,κ设为0.8,学习率μ为0.2。利用增量学习融合隐马尔可夫模型,获得优化的地下水埋深数据,并在ArcGIS中得到2013年地下水的埋深空间模拟分布图(图3a),与传统隐马尔可夫模型模拟结果(图3b)进行对比分析。

图3 磴口县地下水埋深空间模拟分布图Fig.3 Spatial simulation of groundwater depth in Dengkou County

2种模型对2013年地下水埋深空间分布的模拟结果基本一致,也比较符合研究区埋深分布:河套地区地下水埋深(0.5~3 m)、沙区地下水埋深(3~10 m)、山前洪积扇地下水埋深(3~15 m)。地下水埋深最高值区域出现在狼山南麓的山前洪积扇,此区域的地下水埋深均值大于12 m,其次在南部沙漠地区,其地下水埋深值均大于7 m;最低值区域出现在东部黄河流域附近区域与黄河冲击平原河套地区,范围为0.5~2 m,该区域水资源较为丰富,地下水埋深较浅;东南部也有小范围地下水埋深较深的区域,该区域为磴口县城区。模拟结果表明随着城市用水增多,使得该区域地下水埋深较深。从图3可以看出2种模型的模拟结果的主要差别在东南部磴口县城区与中西部,IL-HMMs模型的地下水埋深空间分布模拟结果更接近实测值,特别是东南部磴口县城区地下水埋深的变化能及时在模型中更新参数,使得预测结果更加准确。

为比较模型模拟结果预测精度,选择磴口县境内的2013年地下水长观井,对IL-HMMs和HMMs模型的模拟结果与实际测量值进行验证(图4)。

图4 HMMs与IL-HMMs对比曲线Fig.4 Comparison of HMMs and IL-HMMs

对于稳定连续的数据,IL-HMMs模型的绝对误差有所减小,至少也保证与传统HMMs模型同样的绝对误差。对于新增有变化的数据,模型的绝对误差有较明显的下降,充分说明了IL-HMMs模型在面对增量环境时有较好的鲁棒性。

对于传统HMMs模型,由于训练完毕后模型就不发生改变,故而面对发生改变的新数据,识别率会有所下降。而在IL-HMMs模型中,模型参数在识别阶段能随着新的测试数据而动态调整,使之更倾向于需要识别的数据,故能取得比较好的模拟结果。

2.2 学习效率

在基于IL-HMMs模型中,根据学习率μ的不同,其预测精度如表1所示。从表1可知,通过使用不同的学习率μ,相同的输入数据可以获得不同的预测精度。设置学习率μ=0.2,预测精度都将达到最高。但如果继续增大学习率,即μ在0.2~1.0之间任意设置,预测精度将下降,表现出“过学习”的现象,另外发现当μ在0~0.2时,其预测精度小于μ=0.2,表现出“学习不足”的现象。

2.3 多模型对比验证

为了进一步评价IL-HMMs模型对磴口县地下水埋深动态预测效果,本文选取研究区3组长期观测井地下水埋深观测数据,分别采用IL-HMMs预测模型、加权马尔可夫链预测(WMCP)模型和BP神经网络(BPNN)预测模型进行了预测和模拟(图5)。各个模型的模拟结果与实际测量值如表2所示。

在3组地下水长期观测井预测模拟结果与实测数据对比发现,IL-HMMs模型模拟结果与实测数据相符程度最高,平均绝对误差φMAE与均方根误差φRMS在几组模型中最小,预测结果与实测值具有很好的吻合性,预测结果达到精度要求;其次是HMMs模拟结果,其平均绝对误差φMAE与均方根误差φRMS比IL-HMMs模型略大;BPNN模型不论是平均绝对误差φMAE与均方根误差φRMS,其误差预测性能更差一些;WMCP模型的模拟结果误差最大,其平均绝对误差φMAE最大为0.554,均方根误差φRMS达到0.534,预测性能最差。同时,通过3组不同级别地下水长期观测井预测模拟结果与实测数据对比验证,L-HMMs模型不论在地下水埋深较浅的河套地区,还是埋深较深的山前洪积扇都具有较好适应性,预测结果与实际监测水位基本一致。可见通过增量学习的优化模型具有较好的鲁棒性,可以减小误差,提高预测精度,可以用来进行预测。

表1 基于IL-HMMs地下水埋深预测的最小平均绝对误差Tab.1 Minimum average absolute error of groundwater burst prediction based on IL-HMMs

图5 磴口县地下水埋深空间模拟分布图Fig.5 Spatial simulation of groundwater depth distribution in Dengkou County

误差河套地区沙区山前洪积扇BPNNWMCPHMMSIL-HMMSBPNNWMCPHMMSIL-HMMSBPNNWMCPHMMSIL-HMMSφMAE0.4980.5380.1390.1260.5060.5410.1800.1560.5160.5540.1850.164φRMS0.5470.5330.3120.2460.5080.5140.3200.2560.5050.5340.3650.269

2.4 模型预测应用

利用2005—2016年的地下水埋深数据作为增量学习的初始状态变量,采用建立的地下水模型对2018年地下水埋深进行预测和模拟,如图6所示。

图6 磴口县2018年地下水埋深空间模拟分布图Fig.6 Spatial simulation of groundwater depth distribution in Dengkou County in 2018

从预测结果来看,磴口县2018年地下水年平均埋深略有增加。局部区域,如乌兰布和沙漠东北边缘部分,即南部沙区地下水埋深有增加趋势,此外在中部包尔盖农场与纳林套海农场区域地下水埋深变化明显,比2013年埋深增加0.56 m,埋深增加范围有扩大趋势。在县城附近的地下水埋深比2013年增加30%,说明城市扩张、工业化的发展对水资源的需求量增大,地下水的开采量增加,导致地下水的埋深加深,并有继续加深的趋势。因此在未来城市规划发展中,需要加大该地区的地下水埋深的监测和水资源的保护和合理开发,并提高水资源利用率,减少水资源浪费;跟踪监测水位变化状况,防止地下水位持续下降并制定应急响应方案,实现水资源的可持续开发利用。

3 结束语

针对传统机器学习方法中模型一旦训练后参数不能动态调整的弊端,本文设计出在训练阶模型参数可动态调整的基于增量学习的隐马尔可夫预测模型(IL-HMMs),通过2005—2012年地下水埋深数据对2013年磴口县地下水埋深预测进行模型精度验证。实验表明,该模型较传统的隐马尔可夫模型、BP神经网络和WMCP模型,预测结果的平均绝对误差与均方根误差都比较小,预测效果好。并对2018年磴口县地下水埋深动态变化趋势进行了预测,对指导该地区合理开发利用地下水资源,区域水资源规划具有指导意义。

1 李文鹏,郑跃军,郝爱兵.北京平原区地下水位预警初步研究[J].地学前缘,2010,17(6):166-173.

LI Wenpeng, ZHENG Yuejun, HAO Aibing. A preliminary study of groundwater level pre-warning in Beijing Plain[J]. Earth Science Frontiers,2010,17(6):166-173. (in Chinese)

2 李有斌. 生态脆弱区植被的生态服务功能价值化研究[D].兰州:兰州大学,2006.

LI Youbin. Valuation of vegetation ecological services in vulnerable ecological region[D]. Lanzhou: Lanzhou University, 2006. (in Chinese)

3 张落成, 陈振光,吴楚材.苏南太湖流域地下水过度开采引起的地面沉降及其防治对策[J].湖泊科学, 2003, 15(3):257-262.

ZHANG Luocheng, CHEN Zhenguang, WU Chucai.Land subsidence problem and its control in Taihu basin of south Jiangsu Province due to overexploitation of underground water[J]. Journal of Lake Sciences, 2003, 15(3):257-262. (in Chinese)

4 薛晓丹. 盘锦地区地下水水位模拟预报与水资源合理利用研究[D].长春:吉林大学, 2005.

XUE Xiaodan. The research on the simulation with prediction of the groundwater level and the rational utilization of the water resource in Panjin Area[D].Changchun:Jilin University, 2005. (in Chinese)

5 李捷斌,孔令杰.基于Kalman滤波的BP神经网络方法在大坝变形预测中的应用[J].大地测量与地球动力学, 2009, 29(4):124-126.

LI Jiebin, KONG Lingjie. Application of BP neural network based on Kalman filtering to dam deformation prediction[J]. Journal of Geodesy and Geodynamics, 2009, 29(4):124-126. (in Chinese)

6 刘敬洋,刘何稚,朱凯,等.基于PSO-SVM模型的拱坝坝变形预测研究[J].三峡大学学报:自然科学版,2013, 35(1):30-33.

LIU Jingyang, LIU Hezhi, ZHU Kai, et al. Study of arch dam deformation prediction based on PSO-SVM model[J]. Journal of China Three Gorges University: Natural Sciences, 2013, 35(1):30-33. (in Chinese)

7 曹宇翔.基于核聚类与信息融合的齿轮故障诊断技术研究[D]. 湘潭:湖南科技大学, 2014.

CAO Yuxiang. Research on fault diagnosis technology of gears based on KFCM and information fusion[D].Xiangtan:Hunan University of Science and Technology, 2014. (in Chinese)

8 罗显科, 柴毅, 李华锋,等. 半监督增量式SVM在故障诊断中的应用研究[J]. 世界科技研究与发展, 2013, 35(4):459-461.

LUO Xianke, CHAI Yi, LI Huafeng, et al. Application research of semi-supervised incremental SVM on fault diagnosis[J]. World Sci-Tech R & D,2013, 35(4):459-461. (in Chinese)

9 刘芳,郝玉光,张景波,等.磴口县土地景观变化遥感监测研究[J]. 内蒙古农业大学学报:自然科学版, 2009, 30(3):112-116.

LIU Fang, HAO Yuguang, ZHANG Jingbo, et al. Study on landscape changes for various land utilization types by using remote sensing in Dengkou County[J]. Journal of Inner Mongolia Agricultural University: Natural Science Edition,2009, 30(3):112-116. (in Chinese)

10 王吉昌. 基于城市规划的河套灌区城市人地关系研究[D]. 西安:西北大学, 2009.

WANG Jichang. Research on the relationship between urban planning based on urban Hetao Irrigation District[D].Xi’an: Northwest University,2009.(in Chinese)

11 肖彩虹,郝玉光,贾培云.乌兰布和沙漠东北部磴口绿洲近52 a水分因子的变化[J].干旱区资源与环境, 2008, 22(6):161-165.

XIAO Caihong, HAO Yuguang, JIA Peiyun. Water factors change in Dengkou oasis northeast of Wulanbuhe desert since recent 52 years[J].Journal of Arid Land Resources and Environment, 2008, 22(6):161-165. (in Chinese)

12 孙超. 基于风险量化分析的电力变压器多层次检修策略研究[D].重庆: 重庆大学, 2014.

SUN Chao. Study on multi-level maintenance strategy of power transformers based on quantitative risk assessment[D]. Chongqing: Chongqing University, 2014. (in Chinese)

13 黄岗. 马尔可夫及隐马尔可夫模型的应用[J]. 电子设计工程, 2013, 21(17):60-62.

14 孙师尧, 妙全兴. 基于改进HMM的半结构化文本信息抽取算法研究[J].电子科技,2014, 27(10):111-114.

15 POLIKAR R, UDPA L, UDPA S S, et al. An incremental learning algorithm for supervised neural networks[J]. IEEE Transactions on Systems, 2001, 31(4): 497-507.

16 周兴勤. 基于选择性集成的增量学习研究[D].重庆:重庆大学,2014.

ZHOU Xingqin.Research on incremental learning based on ensemble pruning[D]. Chongqing: Chongqing University, 2014. (in Chinese)

17 姚远. 海量动态数据流分类方法研究[D].大连:大连理工大学, 2013.

YAO Yuan. The research on massive and dynamic data stream classification method[D].Dalian: Dalian University of Technology, 2013. (in Chinese)

18 DAVIS R I A, LOVELL B C, CAELLI T. Improved estimation of hidden Markov model parameters from multiple observation sequences[C]∥2002 16th International Conference on Pattern Recognition, IEEE, 2002,2:168-171.

19 陈春花, 金智慧. 知识管理中的主动遗忘管理[J]. 科学学与科学技术管理, 2006, 27(4):104-108.

20 李岚涛,任涛,汪善勤,等.基于角果期高光谱的冬油菜产量预测模型研究[J/OL].农业机械学报,2017,48(3):221-229.http:∥www.j-csam.org/jcsam/ch/reader/view_abstract.aspx?flag=1&file_no=20170328&journal_id=jcsam.DOI:10.6041/j.issn.1000-1298.2017.03.028.

LI Lantao, REN Tao, WANG Shanqin, et al. Prediction models of winter oilseed rape yield based on hyperspectral data at pod-filling stage[J/OL].Transactions of the Chinese Society for Agricultural Machinery,2017,48(3):221-229. (in Chinese)

猜你喜欢
马尔可夫增量样本
导弹增量式自适应容错控制系统设计
提质和增量之间的“辩证”
全现款操作,年增量1千万!这家GMP渔药厂为何这么牛?
用样本估计总体复习点拨
“价增量减”型应用题点拨
面向电力系统的继电保护故障建模研究
基于马尔可夫链共享单车高校投放研究
基于马尔可夫链共享单车高校投放研究
随机微分方程的样本Lyapunov二次型估计
村企共赢的样本