高德SD地图数据生产自动化技术的路线与实践(道路篇)

本文涉及的产品
图像搜索,7款服务类型 1个月
云解析 DNS,旗舰版 1个月
全局流量管理 GTM,标准版 1个月
简介: 高德地图凭借视觉AI和大数据技术优势引领地图数据产业变革,通过图像AI技术从采集资料中直接识别提取各类数据要素,为实现机器代替人的作业模式提供最坚实的技术基础。

一、背景及现状
近些年,国内道路交通及相关设施的基础建设日新月异。广大用户日常出行需求旺盛,对所使用到的电子地图产品的数据质量和现势性提出了更高的要求。传统的地图数据采集和生产过程,即通过采集设备实地采集后对采集资料进行人工处理的模式,其数据更新慢、加工成本高等问题矛盾日益突显。

高德地图凭借视觉AI和大数据技术优势引领地图数据产业变革,通过图像AI技术从采集资料中直接识别提取各类数据要素,为实现机器代替人的作业模式提供最坚实的技术基础。

高德地图通过对现实世界高频高密度的数据采集,运用图像视觉AI能力,在海量的采集图片库中自动检测识别并确定出各种交通标志标线标牌的内容及位置,再通过与历史资料信息的对比,能快速发现现实世界的变化信息,同时结合强大而专业的数据融合能力,实现100%信息融入,从而构建出高现势性的全国基础地图。

综上,通过算法、地图工程的深度技术合作,以及与资料采集、数据生产的业务拉通,搭建一条以图像识别、位置服务、差分过滤、数据融合等为核心技术的基础地图数据生产全自动化产线,从而建立起从真实世界到地图应用终端,高效高质量的数据信息流水线生产通道。

二、自动化产线的可行性及重点
从图像物体分类和检测进展来看,图像物体的分类和检测已经有几十年的历史,涌现了一系列经典的算法。近些年随着图像识别技术特别是深度学习技术的快速发展及GPU计算能力的发展,分类和检测技术有了极大的提升。

从自动化需要的大数据来看,高德地图专注地图数据制作十几年,积累了覆盖全国、丰富且准确的数据,加之每天拥有大量采集信息的汇入,这些数据都成为算法训练天然的样本池;同时一整套专业化、标准化的地图生产作业规范为数据融合打下了坚实的理论基础。

因此,从算法储备能力、数据和工艺的积累来看,自动化产线搭建具有较强的可行性,其重点围绕着以下四部分组成:

图像识别:图像识别的目标是从输入图像中解析出地图数据相关的现实信息,通过检测、识别图片中的交通标志标线标牌信息,细分其类型,并理解其中的数字和文字,以文本形式表达内容。此外,由于输入的是连续图像,单个标志标线标牌可以在多个图像上观察到,因此整合多张图像中的同一信息,并选择最合适的图像作为主图展示。

位置服务:基于低精度GPS和采集图像,位置服务推算出自身和场景物体的精确位置,并映射到地图数据中。其中包括图像道路理解、标志位置解析、采集轨迹匹配等核心能力。依据轨迹特性和道路连通性,建立对定位位置、角度、速度等与候选道路关系的匹配概率模型,将轨迹关联到地图数据上。通过对多张图片中场景的理解,给出图片相对于路口的相对位置,结合地图道路数据的形态,进一步确定物体的作用位置。

图像差分和语义过滤:目的是将新采集资料与已有母库中的数据进行一致性对比,自动将相同的信息进行差分与过滤操作,留下变化的信息。两者不同之处在于前者是检测相同位置新一次采集的图片相对于历史采集图片是否有变化,从轨迹和图像本身的角度对比;后者从数据的角度看图像识别后内容,对于母库数据是否有变化,从地图语义的角度做比较。

基于位置的数据融合:图像识别的成果,结合位置服务提供的作用位置,获取到作用道路。通过抽象路口的模型,在该道路或路口做数据融合,即新增或者更新地图数据。

三、 关键技术能力

1.图像识别

图像识别主要面临三大挑战:一方面场景多样,类型繁多。待检测对象种类繁多,如交通标志标牌、地面引导线、电子眼等。比如正常的方向信息标牌如下图:

yuze1.png

特殊的方向信息牌标牌:

yuze2.png


而同类检测对象的样式也是繁杂的,国标通用的交通标志有几百个类型,而各地也会有一些地方特色的交通标志,所以需支持定制化检测识别。常见标牌形状多样,三角、圆形、方形、菱形、八边形等,同时颜色分布广泛,如黄色、红色、蓝色、绿色、黑色、白色等,另外,还需要排除自然场景内一些类似交通标志的标语、广告牌等,以减少对识别准确率的影响。

yuze3.png

另一方面,在自然场景下图片质量差异巨大,其中很多图像质量偏低。再加上面临遮挡、逆光、雨雪天等极端户外场景。这些在检测环节都是要重点考虑及解决的问题。

yuze4.png


最后,待检测对象的尺寸差异较大,大如方牌(几百个像素大小),小如电子眼、交通灯(十几个像素大小)。而小尺度检测,辨识度很差,对检测算法有比较高的要求。

综上,对于算法能力本身而言,交通标志检测实际上是一个多类型的目标检测任务,主流的方法是基于深度学习的End2End方案,在一个网络中同时完成检测与细分类任务。常用的dataset一般是PASCAL VOC(20类)和COCO(90类)等。

根据业务的实际需要,整个方案分为目标检测与精细分类两部分组成,目标检测阶段通过Faster-RCNN在图片中检测所有的交通标志,该阶段要求极高的召回率和执行速度,相应在准确率方面可以放宽要求;精细分类阶段对目标检测阶段得到候选框,然后进行精细分类并滤除噪声,最终保证极高的召回率和准确率。

2.位置服务

轨迹漂移对位置匹配地图的准确性一直都是极大的挑战,一方面平行路、高架场景,尤其是主辅路这种距离1-2个车道的平行路,需要很高的定位精度,常规的GPS定位精度在5-10m,很难达到80%的主辅路识别率。另外基础地图数据本身也存在GPS精度问题。

通过规则及隐马尔科夫模型的学习、推理以及维特比算法等基础理论以外,合理地抵抗定位漂移问题,是轨迹匹配成功的关键。通过对轨迹形态进行学习和总结,找出其规律,建立符合其特性的概率模型,精准地表达匹配建立过程,合理地平衡匹配准确性和抗漂移能力二者之间的关系。另外,通过长轨迹的连通性和图像识别车道数或道路位置关系,以解决平行路的部分场景的问题。

而对作用道路和作用位置的确定,目前依赖于图像识别对于路口位置的识别及融合对地图数据场景的理解和判断,例如标牌对路或路口的相对位置靠识别本身很难确定,需要融合对数据路网数据特性的理解和判断,这种判断比较复杂,人一眼就看明白了,但是机器很难用规则去描述。所以,通过路段中直行、路口中直行及拐弯等场景的分析,对比地图路段或路口的模型,来确定作业道路,根据不同属性计算作用位置。

3.图像差分和语义过滤

图像差分主要会面临资料对齐问题,即同一位置的多次采集资料,会受GPS自身精度及因卫星信号遮挡导致的漂移带来的所在道路判断偏差的影响。另外,在语义识别上,受自然环境下的环境因素,如遮挡、模糊、阴影、雨雪天气、视角变化等,会影响后续算法对图像的深层语义信息(如类型、内容等)的解析。两种因素的叠加,在多张图像和语义的一致性比对时,难度就提高了不少。

这方面,算法大幅快速提升了识别和一致性判断的准确率,以避免错误匹配对数据更新的影响。图像差分分为资料对齐和局部匹配两部分,资料对齐回答两次采集图像是否在同一位置、视角等,通过GPS轨迹粗筛、图像匹配等手段,判断两张图像的位置关系。局部匹配则需要回答两个物体是否为同一类型,对于有文本内容的物体,还需要检测版式、文本的一致性。因此除引入常见的点特征匹配技术外,也使用了基于深度学习的图像匹配网络。对于文本内容部分,借助OCR能力完成内容的理解和解析,最终判断两次采集的内容完全一致性。

4.基于位置的数据融合

由于现实世界的复杂性,地图生产经验积累形成了大量标准化地图数据制作规范,这些都是能合理抽象、准确表达现实世界的无形资产。即便现实路网形态千奇百怪,但都能通过模型进行抽象归类,建立不同场景下相对通用的地图数据模型,从而在其上建立沉淀大量的地图数据处理的工具类和方法,以确保数据自动化融合能力的广泛使用。

yuze5.png

四、总结
高德SD基础地图数据生产自动化实现,本质上就是在基础地图数据生产过程中,引入图像AI技术和数据融合技术,结合多年地图数字化生产作业规范及经验,创新出一套面向资料的自动化生产线,形成自动化解放人工持续提供高效高质量的地图数据,以解决地图供应商生产产线专业化程度高、人工成本大、作业效率低等产线问题,最终满足广大用户出行过程对电子地图产品数据现势性的需求。

相关文章
|
8天前
|
数据采集 数据可视化 数据挖掘
利用Python自动化处理Excel数据:从基础到进阶####
本文旨在为读者提供一个全面的指南,通过Python编程语言实现Excel数据的自动化处理。无论你是初学者还是有经验的开发者,本文都将帮助你掌握Pandas和openpyxl这两个强大的库,从而提升数据处理的效率和准确性。我们将从环境设置开始,逐步深入到数据读取、清洗、分析和可视化等各个环节,最终实现一个实际的自动化项目案例。 ####
|
24天前
|
敏捷开发 人工智能 Devops
探索自动化测试的高效策略与实践###
当今软件开发生命周期中,自动化测试已成为提升效率、保障质量的关键工具。本文深入剖析了自动化测试的核心价值,探讨了一系列高效策略,包括选择合适的自动化框架、设计可维护的测试脚本、集成持续集成/持续部署(CI/CD)流程,以及有效管理和维护测试用例库。通过具体案例分析,揭示了这些策略在实际应用中的成效,为软件测试人员提供了宝贵的经验分享和实践指导。 ###
|
23天前
|
机器学习/深度学习 人工智能 jenkins
软件测试中的自动化与持续集成实践
在快速迭代的软件开发过程中,自动化测试和持续集成(CI)是确保代码质量和加速产品上市的关键。本文探讨了自动化测试的重要性、常见的自动化测试工具以及如何将自动化测试整合到持续集成流程中,以提高软件测试的效率和可靠性。通过案例分析,展示了自动化测试和持续集成在实际项目中的应用效果,并提供了实施建议。
|
24天前
|
Java 测试技术 持续交付
探索自动化测试在软件开发中的关键作用与实践
在现代软件开发流程中,自动化测试已成为提升产品质量、加速交付速度的不可或缺的一环。本文深入探讨了自动化测试的重要性,分析了其在不同阶段的应用价值,并结合实际案例阐述了如何有效实施自动化测试策略,以期为读者提供一套可操作的实践指南。
|
13天前
|
敏捷开发 前端开发 Java
软件测试中的自动化测试框架选择与实践
在当今软件开发生命周期中,自动化测试已成为提升软件质量和开发效率的关键手段。本文旨在探讨自动化测试框架的选择标准及其在实际项目中的应用实践。通过对主流自动化测试框架的分析比较,结合具体案例,本文将阐述如何根据项目需求和团队特点选择合适的自动化测试工具,并分享实施过程中的经验教训。
30 1
|
22天前
|
Devops jenkins 测试技术
DevOps实践:自动化部署与持续集成的融合之旅
【10月更文挑战第41天】在软件开发的世界中,快速迭代和高效交付是企业竞争力的关键。本文将带你走进DevOps的核心实践——自动化部署与持续集成,揭示如何通过它们提升开发流程的效率与质量。我们将从DevOps的基本理念出发,逐步深入到具体的技术实现,最终展示一个实际的代码示例,让理论与实践相结合,为你的开发旅程提供清晰的指引。
28 4
|
24天前
|
Web App开发 敏捷开发 测试技术
探索自动化测试的奥秘:从理论到实践
【10月更文挑战第39天】在软件质量保障的战场上,自动化测试是提升效率和准确性的利器。本文将深入浅出地介绍自动化测试的基本概念、必要性以及如何实施自动化测试。我们将通过一个实际案例,展示如何利用流行的自动化测试工具Selenium进行网页测试,并分享一些实用的技巧和最佳实践。无论你是新手还是有经验的测试工程师,这篇文章都将为你提供宝贵的知识,帮助你在自动化测试的道路上更进一步。
|
24天前
|
敏捷开发 Java 测试技术
探索自动化测试:从理论到实践
【10月更文挑战第39天】在软件开发的海洋中,自动化测试是一艘能够带领团队高效航行的船只。本文将作为你的航海图,指引你理解自动化测试的核心概念,并分享一段实际的代码旅程,让你领略自动化测试的魅力和力量。准备好了吗?让我们启航!
|
2月前
|
机器学习/深度学习 人工智能 运维
构建高效运维体系:从自动化到智能化的演进
本文探讨了如何通过自动化和智能化手段,提升IT运维效率与质量。首先介绍了自动化在简化操作、减少错误中的作用;然后阐述了智能化技术如AI在预测故障、优化资源中的应用;最后讨论了如何构建一个既自动化又智能的运维体系,以实现高效、稳定和安全的IT环境。
73 4
|
2月前
|
运维 Linux Apache
,自动化运维成为现代IT基础设施的关键部分。Puppet是一款强大的自动化运维工具
【10月更文挑战第7天】随着云计算和容器化技术的发展,自动化运维成为现代IT基础设施的关键部分。Puppet是一款强大的自动化运维工具,通过定义资源状态和关系,确保系统始终处于期望配置状态。本文介绍Puppet的基本概念、安装配置及使用示例,帮助读者快速掌握Puppet,实现高效自动化运维。
63 4