首页 欧洲联赛正文

amazon,高德地图首席科学家任小枫:视觉智能在高德地图的使用,王家卫

2019杭州云栖大会上,高德地图技能团队向与会者同享了包含视觉与机器智能、路途规划、场景化/精细化定位、时空数据运用、亿级流量架逃婚妖娆妻构演进等多个出行技能范畴的热门话题。现场火爆,听众反响强烈。咱们把其间的优异讲演内容收拾成文并连续发布出来,本文为其间一篇。

高德地图首席科学家任小枫在高德技能专场同享了题为《视觉智能衔接实在国际》的讲演,本文依据现场内容收拾而成(在不影响本意的状况下对文字略作修改),更多视觉智能技能的完成细节请重视后续系列文章。

以下为讲演内容的简版实录:

我今日首要给咱们介绍视觉及相关技能如安在高德落地,怎么协助衔接实在国际。衔接实在国际这句话并不只仅我个人的主意,而是高德地图的任务,咱们的任务是“衔接实在国际,让出行更夸姣”。

首要,简略介绍下高德地图,有超越1亿的日活用户,超越4亿的月活用迪克牛仔女儿户,高德地图不但供给导航,也供给出行相关的其他服务,涵盖了信息服务、驾车导航、同享出行、才智公交、才智景区、骑行、步行、远程出行等运用场景。

高德地图做的作业是树立人和实在国际的联络,人要跟实在国际树立联络,地图是根底,地图之上还有更多的信息可以获取。

视觉是连三千作业可攻略接实在国际的桥梁

视觉是衔接实在国际的桥梁。为什么?从人的信息获取视点来看,80%的内容是经过视觉获取到的。从人的信壹影堂息处理来看,人的大脑30%-60%用于视觉感知。从机器的视点,视觉是十分重要的通用感知手法。

人类感知实在国际的方法,还有许多其他方法,例如传感器、LT...可是,作为通用的手法,我一向觉得视觉是榜首挑选,通用,信息量十分大,可以远距感知,也可以做到实时。

还有一个原因,人走出马三家类实在国际里(各种元素)80%以上是为了视觉而规划。有的时分,咱们对实在国际太过于熟邹瀚枢悉,或许不会太介意。可是看一下周围的标志和信息,包含知道的事物,都是依据视觉规划和获取。

由于人类获取信息的首要方法是经过视觉,所以实在国际的规划也是根据视觉。咱们可以幻想下,假如获取信息的首要方法是经过嗅觉,那这个国际会十分纷歧样。根据这些,回到咱们在做的作业,咱们必定不会古怪,地图信息的获取和树立,绝大部分也是来自于视觉。

视觉技能@高德地图-地图制造

视觉技能在高德地图的运用有许多不同的方法,如下图所示:

左面是地图制造,有惯例地图和高精地图,高精地图对应于未来的无人驾驭。右边是跟导航领会相关的,咱们在做的一些跟定位相关的作业,也在运用视觉技能期望使导航变得愈加便当。由于时刻联络,今日只给咱们amazon,高德地图首席科学家任小枫:视觉智能在高德地图的运用,王家卫介绍惯例地图和导航相关的部分。赤壁寻宝天行

地图服务从哪里来,首要要收集材料,现在绝大部分是经过相机和视觉的方法收集信息。实在国际很大,全国有几百万公里路途,再加上其他信息,人工方法现在是处理不过来的丁大大,很大程度上需求用自动辨认,经过算法辨认材料。当然有时分算法没方法做到100%,还需求人工批改,然后制形成地图数据库,来支撑地图数据服务。

地图制造任务,惯例地图任务一般分为两大类,一类是路途相关,一类是POI挂牌辨认。这两类任务都需求较多的视觉技能。例如,在路途标志辨认上,算法要做的便是把路途上的标志一个一个悉数找出来,一同辨认标志的类型和内容。

路途标志有100多种。假如仅仅处理这些标志,其实并不是那么杂乱。实践中,有时分需求用低本钱的方法收集数据,这时怎么确保图画质量便是需求考虑和处理的问题。

收集信息的时分,有时分图片会有畸变、反光、遮挡等状况,先不说分辨率紧缩的问题,成像amazon,高德地图首席科学家任小枫:视觉智能在高德地图的运用,王家卫自身取决于镜头的质量和本钱欧筱敏、气候条件、光线等因smartisys素,有时分收集回来的图画中差的图许多。这时分就不只仅单纯去处理一个抱负傍边的算法问题,也需求处理许多实践状况。

给咱们举几个比方,下面左面的图是实践收集的图画,会有各式各样的问题。咱们对相机有些了解的话,知道相机有内参和外参,内参是焦距、中心、畸变。外参是带码菌方位、视点,这些都会影响成像作用amazon,高德地图首席科学家任小枫:视觉智能在高德地图的运用,王家卫。

关于辨认问题来说,这些相机参数不会形成太大问题,可是假如需求做一些跟几许、方位相关的核算,这时分相机畸变和表里参禁绝就会形成很大的问题。咱们经过把多源数据放在一同做匹配,根本可以处理这个问题。右边是一个实践比方,相机的畸变纠正视点,有一些斜的被纠正过来了,很大的进步了后边的算法处理。

另一个比方,图画质量。有的图质量比较差,可是没方法丢掉,仍是有有用的信息。有的原始图画,扩大之后十分含糊。假如这时选用图画增强的方法,可以把这张图变得更清楚。改进原始数据的质量,有许多可用的四书五经六艺七谋八略方法。比方进步辨认算法精度,进步人工功率,也可以用它做含糊的检测,比照一下增强前后,可以知道哪些是好涨含糊,哪些是不含糊。

方才举的仅仅交通标志的比方。还有一个风趣的问题,便是感知电子眼。电子眼很小,而小方针的检测是一个有应战的问题,在研讨范畴咱们也比较重视。咱们可以感触下,拿一张图,假如是太小的东西,扩大之后就看不清了,还不如前景。那怎么能比较准确的找到这么小的电子眼呢?

一般方法便是扩大区域,由于这个东西太小了,光找amazon,高德地图首席科学家任小枫:视觉智能在高德地图的运用,王家卫这个方针比较难,找到区域扩大,引进周边的信息。这些信息可以协助更好的找到这个小方针,放的再大一点,才干看到其他相关的信息来协助电子眼的智能检测。

可是放的太大也会有问题,放的太大会引进许多无关的信息。从技能上来说有一些处理方法,现在视觉技能上用的比较多的有一个注意力机制,画一个大框,机器自己会学哪块重要哪块不重要,协助更好的聚集到方针自身。当然,尽量会用一些先验信息,比方自身的散布、高度、巨细。

光检测还不行,许多时分实在国际在变。许多时分青青色要分辨出哪amazon,高德地图首席科学家任小枫:视觉智能在高德地图的运用,王家卫些变了哪些没变。曾经检测出一个电子眼,新的材料又检测出一个电子眼,需求知道这勒阿夫勒两个是否是同一个。

怎么判别?由于这张图表达的纷歧样,假如仔细看,的确可以看到布景的修建、架起类型都差不多。需求用算法来判别究竟是不是,这就牵涉到方针检测、车道归属、架起类型剖析,还要做场景匹配。经过这些,很大程度上可以判别这是一个什么场景,然后判别两张图的元素是不是同一个。

方才说的是路途,下面是几个跟POI相关的比方。POI的牌子,可以分红许多不同类型,有牌坊式、挂牌式、门脸式等。不只POI各式各样,非POI其实也各式各样。假如仅仅检测文字的话,你会发实践在国际里的许多不是POI,有的仅仅标牌、标语、广告、对联、交通标志等。所以,要区分出POI和非POI。

有许多其他的杂乱场景,这儿纷歧一举例了,有些或许平常也不太能想到,比方三维挂牌,它不是一个平的牌子,在街角,或许是一个生果超市,沿着街角曲折过来。这类牌子很难在一张图里彻底检测出来,即便检测出来,一不小心就会分红两块牌子,所以实在国际的杂乱性仍是会形成更多的问题。

面临这么多杂乱性,需求去剖析详细场景的状况。许多时分最终的成果往往不是一个算法就能处理一切的问题,需求各种算法的交融。比方说,假如是文字,需求做检测,文懒汉鱼字自身也需求做检测和辨认。方位的话,需求做一些三维方面的揣度。许多时分材料获取到今后也有含糊和遮挡的部分,也要做判别。

每一个判别不是单一方法就可以处理,不是光靠一个模型就可以做到最好的作用,需求的是两个乃至更多的模型,从不同的视点去处理问题,才干够到达更好的作用,这是在数据堆集的根底之上。

上面罗列的一些问题有必定的杂乱性刘嘉玲被,跟一切的问题相同,越做到后边越难,咱们现在还在做,这些算法很大程度上决议了地图制造的功率和触到达用户的地图G2024质量,这些是十分重要的核心问题。

POI也不可是以上介绍的只需求判别是不是POI或许文字辨认,许多时分还需求做版面的内容了解。假如一个牌子,需求知道这个牌子上的信息,有时分会有主称号,有时分会有分店,有时分没有,有没有联络方法、经营规模,这些都需求用算法去做。

视觉技能@高德地图-导航

以上介绍的是在地图制造方面有许多的杂乱性,需求用视觉算法或许其他算法来处理。接下来同享下在导航方面的。

先说下自己的一个领会。前段时刻在西班牙度假,欧洲的环岛特别多,谷歌(地图)导航常常提示我,进了弯道之后从第三个出口出去,我其时特别抑郁,由于要数口儿,常常你也不知道那个究竟是不是出口,所以走错了好几次。我在国内没开过车,国内的交通更杂乱,例如在北京的西直门,有时分可以直接右拐,有时分需求转一个810度的圈。

咱们期望对导航的方法做一个比较大的改变,让它变成所见即所得的场景。假如有算法可以直接告知人们往哪边走,对人来说是愈加有用的,可以让开车愈加简略,导航变得愈加直接。

许多轿车现在都会有摄像头,不管是前端仍是后端,许多时分可以获取到视频数据。咱们把AI算法核算出的作用叠加在视频上,告知人们究竟该怎么走。

高德在本年4月份发布了AR导潘和忠航产品,这个产品里有一项是实景增强amazon,高德地图首席科学家任小枫:视觉智能在高德地图的运用,王家卫,它会告知你应该保持在这条线上持续往前开或许转弯,会有压线的提示,会有箭头告知你前面右转。

这个产品中,除了引导之外,还有其他功用。amazon,高德地图首席科学家任小枫:视觉智能在高德地图的运用,王家卫例如,也加入了前车的磕碰预警功用,会估量前车的间隔和速度,这将协助咱们安全驾驭。其他事物也可以用愈加直观的方法展现,例如限速,电子眼,跟斑马线相关的,假如看到前方有人,也会做出提示。

以上的功用看起来或许不那么难,但要完成起来很难。为什么?由于咱们期望这是每个人立刻就能有用的功用,所以要做到很低的本钱。这和自动驾驭体系纷歧样。从传感器的视点,咱们要做的是单个传感器,并且是低本钱的相机。从核算的视点来说,自动驾驭体系或许会用一个几百瓦的专用芯片,而关于咱们来说,所需求的算力大约仅仅一般手机的五分之一。

给咱们看一个AR导航的比方,这是实践算法的输出,这个比方里边有车辆的检测,车道线的切割,和引导线的核算等。方才提到了,高性能(低算力)是一个首要应战,那咱们在开发算法的时分就要充分考虑核算功率,包含各种手法,比方模型紧缩,小模型练习优化,检测和盯梢的结合,多方针的联合模型,和传统GPS导航的交融,等等,需求几件作业在一个模型里做。

实在国际是十分杂乱的,要做到高质量、高效的地图制造,或许做到精准的定位导航,在视觉方面还有许多作业要做。期望经过以上介绍,咱们对视觉技能在高德地图中的运用,在出行范畴的运用,有了更多的了解,也对高德的任务有了更多了解。

咱们在许多时分需求去衔接实在国际或许是了解实在国际,才干够让出行更夸姣。期望可以赶快的把这些做好,让咱们实践运用高德APP的时分,可以感触到技能进步带来的领会改变。我今日就讲到这儿,谢谢咱们。

作者:高德技能小哥

版权声明

本文仅代表作者观点,不代表本站立场。
本文系作者授权发表,未经许可,不得转载。