基于机器视觉的车道线检测研究进展综述

赵强 王瑞 朱宝全 李哲煜

摘 要：針对车道线检测技术在车道偏离预警、自动泊车和车道变换等各种辅助驾驶系统中的重要作用，国内外专家学者对车道线检测技术做了较多的研究，但是近年来少见有关于车道线检测的综述，因此本文主要阐述了近几年国内外机器视觉的车道线检测研究进展。首先简单介绍了机器视觉的车道线检测的基本流程;其次重点阐述了基于特征、基于模型和基于深度学习三种典型方法的基本检测原理和研究现状，并对比三种典型研究方法;最后，提出了机器视觉的车道线检测方法主要存在的问题，并针对问题提出未来的发展方向。

关键词：车道线检测;机器视觉;特征检测;模型检测;深度学习

中图分类号：TM341      文献标识码：A

Overview of the Research Progress of Lane

Line Detection Based on Machine Vision

ZHAO Qiang， WANG Rui， ZHU Baoquan， LI Zheyu

（School of Traffic and Transportation， Northeast Forestry University， Harbin， Heilongjiang 150040， China）

Abstract：Aiming at the important role of lane line detection technology in lane departure warning， automatic parking and lane change in various driving assistance systems， foreign experts and scholars have done more research on lane detection technology， but in recent years， there have been rare cases about lanes， so this article mainly elaborates the basic situation of the progress of line detection based on machine vision at home and abroad in recent years. First， this paper briefly introduces the basic process of lane line detection based on machine vision， and then illustrates on the basic testing principle and current state of research of the three typical methods based on feature， model and deep learning， and compares the three typical research methods. Finally， the main problems of the lane line detection method based on machine vision are put forward， and the future development direction is proposed.

Key words：lane line detection; machine vision; feature detection; model checking; deep learning

随着自动驾驶时代的到来，需要车道线识别的应用场景也越来越广泛，相应车道线识别技术也越来越重要，其主要原因有以下两点：第一，覆盖场景广，应用领域广泛;第二，重要安全保障，车道线识别能精准地识别道路并最终帮助机器决策。因此，在自动驾驶领域，车道线检测技术一直是关键技术。车道线检测技术常采用视觉和激光雷达的方法，视觉技术又分为单目和双目视觉技术，其较激光雷达技术更便宜，且道路和背景区分明显，具有良好的视觉效果。

针对视觉方面的车道线检测技术，文献[1]给出了车道线一般流程和算法的优缺点;文献[2]主要介绍了利用RANSAC算法对虚实车道进行分类;文献[3]主要介绍了一种可以在多路面环境和虚线条件下检测的算法;文献[4]主要介绍了利用逆透视变换和优化滑动窗口法的车道线识别算法。目前为止，视觉方面的检测技术有了很大的进展，但还没有一个统一的方法检测出所有车道线。因此需要总结和归纳车道线检测的方法和原理，以获取更好的车道线。随着大数据的发展，深度学习技术也被应用到车道线检测技术当中，如文献[5-6]主要介绍了利用Enet神经网络的车道线检测算法，文献[7]利用深度图像回归估计车道，本文也将做出总结和归纳。

因此本文主要讨论基于机器视觉的车道线检测方法，首先介绍车道线检测基本流程，然后针对车道线检测技术存在的重要性，根据车道线检测方法，分别介绍基于特征的车道线检测、基于模型的车道线检测和基于深度学习的车道线检测近几年研究现状和基本原理，最后总结出目前车道线检测存在的问题，并给出相应对策。

1 基于机器视觉的车道线检测基本流程

基于机器视觉的车道线检测的基本流程，如图1所示。

1）通过车载摄像头捕捉图像，获取车道线信息。

2）在图像预处理过程中，通过提取车道线检测的感兴趣区域，提高检测效率。一般情况下选择图像下方1/2的部分作为车道线识别的路面感兴趣区域[8]，如图2（a）所示。但也有像文献[9]通过确定消隐点约束感兴趣区域，如图2（b）所示。

再通过灰度处理[10]得到灰度图像来加快图像处理速度，并对图像进行降噪和增强处理，利用滤波进行降噪，利用直方图均衡化、自适应均衡化[11]等方法增强图像对比度。

3）在车道线检测阶段，将提取的信息通过基于特征、基于模型、基于深度学习三种方法进行检测。

4）在车道线进行拟合中，通常情况下拟合的方法包括：霍夫变换、聚类、RANSAC[12]、最小二乘法[13]、卡尔曼或者粒子滤波器[14]等。在传统检测的过程中，在进行边缘检测之后只是检测出了车道线的基本轮廓，呈现一种小方框的结构，所以需要利用拟合的方法将其拟合成一条直线。

2 基于机器视觉的车道线检测方法

基于机器视觉的车道线检测主要分为基于特征、基于模型和基于深度学习的三种方法。

2.1 基于特征的方法

基于特征的车道线检测的基本原理[15]是利用了车道标志边缘与路面图像周围环境之间的特征差异进行检测的。通常情况下特征差异包含图像的纹理、车道边缘的几何形状以及车道宽度等。

式中：Ki为对应角度卷积核矩阵，A为待计算图像像素矩阵，m、n代表矩阵值对应的位置，x、y为矩阵中心坐标。道路检测角度划分结果如图3所示，其次利用多色域转换分别提取黄色和白色车道线，最后利用DBSCAN聚类和NURBS曲线进行拟合，实验结果表明，对于道路破损、树木阴影遮挡、强光、雨天及车道干扰的路况有很好的识别效果，其强光照及缺损道路检测效果如图4所示。还有像张浩[17]利用车道线宽度特征、赵岩[18]等人利用边缘轮廓特征检测车道线，体现了较好的抗遮挡能力。

在纹理特征方面，文献[19-20]利用图像纹理特征和消隐点特征共同检测车道线，能够有效解决夜间车道线检测的漏检情况，文献[19]检测结果如图5所示。在颜色特征方面，Danilo[21]等提出了一种融合颜色、边缘和速度特征结合的道路检测方法，结果表明，该方法能够有效消除道路检测中的故障。Ke[22]针对复杂环境检测，采用了改进的Sobel边缘提取算法和改进的滑动窗口搜索算法，及RGB、HSL和LAB颜色空间转换方法，有效区分白色和黄色车道线。M[23]等利用LAB颜色空间查找道路区域，在不同光照条件下检测具有良好的性能。Kim等提出了一种基于HSV颜色空间和车道形状特征的识别算法[24]，其识别结果如图6所示。该方法能够有效降低错误率，但是对曲线识别效果不是很好。在边缘检测方面，文献[25]采用自适应Canny边缘检测和Hough变换相结合的方法。该方法可以消除夜间光照不均的影响，但实时性有待提高。

基于特征的车道线检测方法不需要建立车道线模型，算法简单且容易实现，但是易受噪声、光照、树木及建筑物阴影遮挡、车道线不全等因素的影响，干扰到车道线识别，甚至可能造成车道线无法识别，所以需要再建立模型来解决。

2.2 基于模型的方法

基于模型的车道线检测的基本原理[26]是针对结构化道路的几何特征，通过建立相应的车道线模型，辨识道路模型参数，从而识别出车道线。常用的车道线模型有直线模型、曲线模型、抛物线模型等。

樊超[27]等提出一種基于核Fisher的新灰度化方法，并利用混沌粒子群算法进行优化，其适应度函数为：

式中：第一个公式表示左车道线，第二个公式表示右车道线，k， b为直线参数;α、β为像素块两个参数差值相应的权系数;n为有效像素点个数;Ma、Mb为道路灰度均值与像素块整体的灰度均值的差;Ta、Tb为道路灰度均值与车道线灰度均值的差。再进行直线模型拟合来识别车道线。该算法在复杂环境的车道线识别中具有优越性，但会受到图像噪声的影响。针对直线模型和曲线模型存在的缺点，王宝峰[28]等提出一种线性逼近的弯道识别方法，其多工况识别效果如图7所示，该算法对大曲率车道线的识别有较强的适应性。王晓锦[29]等通过建立分段直线模型拟合弯道，该方法降低了计算难度，但拟合精度不高，分段直线模型图如图8所示。郭克友[30]等采用了直线抛物线模型结合拟合车道线，远距离采用抛物线模型，近距离采用直线模型，该算法对直道、弯道、有遮挡情况都有很好的检测效果，如图9所示。

也有学者Du[31]等利用霍夫变换直接提取车道线的直线模型，算法简单，检测效果不是很好。 所以为改变单一模型简单的问题，Cheng[32]等在车

道线检测阶段分别对直线车道和曲线车道采用霍夫变换和启发式搜索的检测算法，并利用B（Bspline）样条曲线拟合，最终的识别结果如图10所示。该方法对复杂路况的检测有良好效果。Ding[33]等提出了一种新型车道线检测方法，利用改进RANSAC算法和双重模型拟合车道线，有良好的实时性。Song[34]等提出了一种基于几何矩采样的车道检测方法。通过分段采样的方法选取潜在包含车道线的区域，以此分段地对车道线进行曲线拟合。

基于模型的车道线检测是通过建立车道线模型进行的检测，其常用模型优缺点如表1所示。通过建立模型检测车道线，可以快速而又稳定地检测出在路面不平、有遮挡情况下的车道线。

2.3 基于深度学习的方法

通过搭建人工神经网络，利用海量数据集训练网络的深度学习技术，能够自主学习获取特征，对复杂环境有很好的鲁棒性，应用也较为广泛[35]。这种算法的优点是目标特征可在模型训练过程中自动学习并自动修正参数，缺点是缺乏公共道路标记数据集[36]。

针对不同的神经网络，国内外学者有不同的研究。闫春香[37]等针对车道偏离原因进行神经可视化分析，具体方法如图11所示，将方向盘转角序列作为神经网络输入，并引入惩罚损失函数，降低神经网络预测难度。宋扬[38]等提出一种结合深度图像增强网络和深度学习网络（LaneNet）的检测方法，这种方法提高了夜间车道线检测技术的效率。文献[39-41]都采用了端到端的多任务网络检测车道线，对于复杂天气和路况有不错的检测效果。

Xiao[42]等提出一种用于车道线检测的改进的大视野模型。该方法可在恶劣环境下进行车道线检测。Li[43]等提出一种基于卷积神经网络和递归神经网络结合检测车道线边界的方法，适应性较广泛。Lee[44]等提出一种基于灭点指导的多任务网络，用于解决检测和分类车道和道路标记，然而由于消隐点信息的引入，该模型适用情况受限，不适应车道线不平行情形。Liu[45]等提出一种基于全卷积网络、残差学习和金字塔池化相结合的基于单目视觉的道路检测RPP（Residual Network with Pyramid Pooling）模型，提高了检测精度，对有阴影遮挡的车道线有很好检测效果。Pan[46]等提取出了空间卷积神经网络（Spatial CNN （SCNN）），它将传统的深层逐层卷积推广到特征映射中的逐片卷积。SCNN的整体架构图，如图12所示，考虑到SCNN应用到一个尺寸为C*H*W的三维张量上，其中C、H和W分别表示通道数、行数和列数。首先张量被分割成H个切片，将其送入一个大小为C*w的卷积层，其中w是核宽度。然后输出被添加到下一个切片生成一个新的切片，新的切片被发送到下一个卷积层，这个过程一直继续，直到最后一个切片更新，完成逐片卷积。其中利用SCNN的前向计算是：

式中：K是假设的三维向量;Ki，j，k记为最后一片中通道的元素i和当前片中通道j的元素之间的权重，这两个元素之间偏移为k列;Xi，j，k记录为张量X的元素，其中i， j， k分别指代通道、行、列。该方法能够达到循环神经网络的效果，并且在车道线遮挡情况下有良好检测效果。

基于深度学习的方法可以通过自主学习网络检测车道线，不需要人为地提取特征，减少了人为提取不准的错误。但是深度学习的方法计算较为复杂，需要大量的数据，且需要已经标记好的数据集才能自主学习，而当出现不属于这个数据集的样本时，检测效果则不是很好。

2.4 基于机器视觉的车道线检测方法比较

基于特征的方法依据道路特征，不依靠几何形状信息进行检测，计算简单，但对于复杂路况检测效果不好;基于模型的方法，主要通过建立车道线模型，依靠建模可以较好地解决以上问题，但是模型参数计算量大;基于深度学习的方法，可以通过自主学习检测车道线，不依靠人工提取特征，但其计算量大，对处理器有较高要求，相比于传统的检测方法，目前深度学习技术在算法的鲁棒性和实时性上有很大的提升。三种方法的代表性研究对比如表2所示。

3 存在问题及展望

车道线检测技术在无人驾驶领域中起着重要的作用，但还存在一些问题：1）车道线易被遮挡，当路面存在阴影干扰，或者道路破损时，会使车道线边缘检测不明显;2）车道线检测还会受光照和天气的影响。自然光随着季节和天气的变化而变化，还有夜间时汽车灯光、人工灯源等的光照变化，会使路面呈现不同的灰度值，从而影响检测的效果。而不同的天气环境，如雨天、雾天、雪天等环境，会使采集到的路面信息效果偏差，识别度变低;3） 在基于模型的車道线检测方法中，参数的选取和模型的建立涉及很大的计算量，增加检测难度，还会因车道线形状和假设模型的不相符使检测失效;4） 在基于深度学习的车道线检测中，主要问题是没有一个统一的数据集基准，无法对比多种方法。

针对以上问题做出展望：1）多种路面特征相结合，以获得更全面的车道信息，获得更明确的边缘信息;2）结合多种方法，如特征的提取和模型的建立相结合，或者和深度学习网络相结合等，进一步提高检测效果;3） 提高算法的鲁棒性和实时性，在今后的研究当中，应当根据实际车道线形状，设计不同的车道线模型，并混合使用车道线模型，降低模型的难度，识别出更全面的车道线;4） 在基于深度学习的方法中，有必要设计出一种统一且包括各种复杂路况的数据集。相比传统检测方法，深度学习技术检测更加迅速且应用广泛，在深度学习的网络当中，建立的端到端的车道线检测模型，很有可能成为未来的发展方向。

4 结 论

在车道偏离预警、变道辅助等先进辅助驾驶系统中，车道检测起着至关重要的作用，而深度学习网络将是以后检测车道线的发展方向。本文简单介绍了车道线检测的图像感兴趣区域的提取、图像降噪和增强、检测及拟合的基本流程。其次，着重讲述了基于特征、基于模型和基于深度学习三种检测方法。最后，列举出车道线检测在三种方法当中存在的主要问题，并提出对提高车道线检测鲁棒性和实时性的展望。

参考文献

[1] 吴一全， 刘莉. 基于视觉的车道线检测方法研究进展[J]. 仪器仪表学报， 2019， 40（12）： 92-109.

[2] 刘康婷， 高坤， 赵奉奎. 基于视觉的车道线检测技术研究[J].智能计算机与应用， 2021， 11（4）： 139-142+148.

[3] 朱雨桐，刘华军.针对复杂路面虚线条件的车道线偏离预警[J].计算机应用，2017，37（S1）：144-148.

[4] ZHU H G. An efficient lane line detection method based on computer vision[J]. Journal of Physics： Conference Series，2021，1802（3）：032006.

[5] 刘彬， 刘宏哲. 基于改进Enet网络的车道线检测算法[J]. 计算机科学， 2020， 47（4）：142-149.

[6] PASZKE A， CHAURASIA A， KIM S， et al. Enet： a deep neural network architecture for realtime semantic segmentation[J]. arXiv preprint arXiv： 1606. 02147， 2016：1-10.

[7] TABELINI L， BERRIEL R， PAIXAO T M， et al. PolyLaneNet：lane estimation via deep polynomial regression[C]// 202025th International Conference on Pattern Recognition （ICPR）. IEEE， 2020：6150-6156.

[8] 邱東， 翁蒙， 杨宏韬. 基于改进概率霍夫变换的车道线快速检测方法[J]. 计算机技术与发展， 2020， 30（5）：43-48.

[9] 陈无畏， 蒋玉亭， 谈东奎. 一种基于边缘点投影的车道线快速识别算法[J]. 汽车工程， 2017， 39（3）：357-363.

[10]白松让， 段敏， 曹景胜， 等. 基于OpenCV的车道线智能检测和识别[J]. 辽宁工业大学学报：自然科学版，2020， 40（2）：92-95.

[11]呼超， 汪杰， 冯玉松. 基于改进Hough变换的夜间内侧车道线检测[J]. 公路与汽运， 2019（6）：1-3.

[12]王智宇， 陈光， 陈勇. 基于OpenCV的改进RANSAC车道线检测方法[J]. 科学技术与工程， 2019，19（28）：222-226.

[13]高树静， 董廷坤， 王程龙. 基于机器学习的车道线检测系统仿真与优化[J]. 计算机仿真， 2020，37（2）：140-143.

[14]杨金鑫， 范英， 谢纯禄. 基于行距离及粒子滤波的车道线识别算法[J]. 江苏大学学报（自然科学版）， 2020，41（2）：138- 142.

[15]韦唯. 基于单目视觉的车道线识别方法研究[D].长春：吉林大学， 2015.

[16]李茂月， 吕虹毓， 王飞， 等. 基于机器视觉的智能车辆鲁棒车道线识别方法[J]. 中国机械工程， 2021， 32（2）： 242-251.

[17]张浩. 基于车道线宽度特征的车道线识别[J]. 南方农机， 2020， 51（9）：46-49.

[18]赵岩， 赵建国. 一种移动车辆遮挡下的车道线检测方法[J]. 科学技术与工程， 2021， 21（7）：2782-2787.

[19]丁蒙， 戴曙光， 曾思浩， 等. 基于自适应ROI和蚁群边缘检测算法的车道线检测[J]. 软件， 2019， 40（12）：124-128.

[20]LI Z Q， MA H M， LIU Z Y. Road lane detection with gabor filters[C]// 2016 International Conference on Information System and Artificial Intelligence（ISAI）. IEEE， 2016： 436-440.

[21]DANILO C H， LAKSONO K， ALEXANDER F， et al.Realtime lane region detection using a combination ofgeometrical and image features[J]. Sensors （Basel， Switzerland），2016，16（11）：1935.

[22]KE H M. Research on lane line detection and tracking under complex road conditions[J]. Frontiers in Science and Engineering， 2021， 1（3）：162-165.

[23]M KAZEMI， Y BALEGHI. Lab color model based road lane detection in autonomous vehicles[J]. Bangladesh Journal of Scientific and Industrial Research， 2017，52 （4）：273.

[24]KIM J H， KIM S K， LEE S H， et al. Lane recognition algorithm using lane shape and color features for vehicle black box[J]. Computer Science， 2018（131）： 354-360.

[25]LI Y， CHEN L， HUANG H， et al. Nighttime lane markings recognition based on Canny detection and Hough transform[C]// IEEE International Conference on Realtime Computing and Robotics（RCAR）， 2016：411-415.

[26]王曉锦. 基于单目视觉的结构化道路车道线识别SAE算法的车道偏离检测研究[D].济南：山东大学， 2017.

[27]樊超， 宋雨佩， 焦亚杰. 基于混沌粒子群的车道线检测算法[J]. 计算机工程与设计， 2020， 41（1）：183-189.

[28]王宝锋， 齐志权， 马国成， 等. 基于线性逼近的车道线弯道识别方法[J]. 北京理工大学学报， 2016，36（5）：470-474.

[29]王晓锦， 王增才， 赵磊. 基于消失点检测与分段直线模型的车道线识别[J]. 机电一体化， 2017， 23（5）：41-46.

[30]郭克友， 王艺伟， 郭晓丽. LDA与LSD相结合的车道线分类检测算法[J]. 计算机工程与应用， 2017，53（24）：219-225.

[31]Du X， Tan K K. Visionbased approach towards lane line detection and vehicle localization[J]. Machine Vision and Applications， 2016，27（2）：175-191.

[32]CHENG C Y， LI M， ZHANG X W， et al. A lane detection algorithm under complex scenes[C]//Advanced Science and Industry Research Center. Proceedings of 2017 2nd International Conference on Computer， Mechatronics and Electronic Engineering（CMEE 2017），Advanced Science and Industry Research Center： Science and Engineering Research Center，2017（5）：386-390.

[33]DING Y， XU Z， ZHANG Y， et al. Fast lane detection based on birds eye view and improved random sample consensus algorithm[J]. Multimedia Tools and Applications， 2016，76（21）：22979-22998.

[34]SONG R， CHEN H， XIAO Z， et al. Lane detection algorithm based on geometric moment sampling[J]. Scientia Sinica Informationis. 2017， 47（1）： 1.

[35]张道芳. 基于深度学习的车道线检测算法研究[D]. 贵阳：贵州民族大学， 2019.

[36]何旭光， 江磊， 罗一平， 等. 基于Hough变换的车道线检测算法设计[J]. 农业装备与车辆工程， 2019， 57（11）： 90- 91.

[37]閆春香， 陈林昱， 王玉龙， 等. 辅助车道线检测的端到端自动驾驶[J]. 汽车实用技术， 2020（7）： 38-41.

[38]宋扬， 李竹. 基于深度图像增强的夜间车道线检测技术[J]. 计算机应用， 2019， 39（S2）：103-106.

[39]赵振东， 邵振洲， 谢劼欣， 等.一种采用空间特征编码的车道线检测方法[J]. 小型微型计算机系统， 2020， 41（09）： 1952-1958.

[40]张居正. 基于深度学习的端到端车道线检测方法[D]. 长沙：湖南大学， 2019.

[41]NEVEN D， BRABANDERE B D， GEORGOULIS S， et al. Towards endtoend lane detetction： an instance segmentation approache[C]//IEEE Symposium on Intelligent Vehicles[IV]， 2018.

[42]XIAO D， YANG X， LI J， et al. Attention deep neural network for lane marking detection[J]. KnowledgeBased Systems， 2020，194：105584.

[43]LI J， XUE M， PROKHOROV D. Deep neural network for structural prediction and lane detection in traffic scene[J]. IEEE Transactions on Neural Networks and Learning Systems， 2017，28（3）：690-703.

[44]LEE S， KIM J， YOON J S， et al. VPGNet： vanishing point guided network for lane and road marking detection and recognition[C]//IEEE International Conference on Computer Vision（ICCV）， 2017：1965-1973

[45]LIU X， DENG Z. Segmentation of drivable road using deep fully convolutional residual network with pyramid pooling[J]. Cognitive Computation， 2018， 10（2）：272-281.

[46]PAN X G， SHI J P， LUO P， et al. Spatial as deep： spatial CNN for traffic scene understanding[J]. ThirtySecond AAAI Conference on Artificial Intelligence， 2018，32（1）：7276-7283.