包含刀客无人直播软件的词条

【导读】本文是无人驾驶手艺系列的第十篇刀客无人曲播软件，着重介绍无人驾驶硬件平台设想。无人驾驶硬件系统是多种手艺、多个模块的集成，次要包罗：传感器平台、计算平台、以及控造平台。本文将详细介绍那三个平台以及现有的处理计划。希望本文对无人驾驶从业者以及喜好者选择硬件的时候有帮忙。

无人驾驶: 复杂系统

无人驾驶手艺是多个手艺的集成，如图1所示，一个无人驾驶系统包罗了多个传感器，包罗长距雷达、激光雷达、短距雷达、车载摄像头、超声波、 GPS、 陀螺仪等。每个传感器在运行时都不竭产生数据，并且系统对每个传感器产生的数据都有很强的实时处置要求。好比摄像头需要到达60 FPS的帧率，意味着留给每帧的处置时间只要16毫秒。但当数据量增大了之后，分配系统资本便成了一个难题。例如，当大量的激光雷达点云数据进入系统，占满CPU资本，就很可能令摄像头的数据不克不及得到及时的处置，招致无人驾驶系统错过交通灯的识别，形成严峻后果。因而，合理地选择计算平台完成实时的大规模传感数据处置，停止实时的驾驶预警与决策，对无人驾驶的平安性、可靠性、持续性至关重要。在供给高性能的数据处置撑持的同时，计算平台还需要兼顾功耗、散热、硬件体积等问题，那关于持续的平安行驶同样重要。因而，在现有无人车计算平台中，各类硬件模块都有相关集成处理计划。差别的计算单位通过Switch或PCIe Switch相连，停止数据交换，完成协同运算。无人驾驶中除了需要对智能驾驶相关的传感器数据停止计算与决策，还需要传统汽车中各个机械部件停止共同控造，完成驾驶操做的施行与转换。那就需要控造平台：ECU与通信总线的协助。ECU从用处上讲是汽车公用微机控造器，它利用一套以切确计算和大量尝试数据为根底的固定法式，不竭地比力和计算各个机械部件传感器的数据，然后发出指令，完成机械控造。通信总线如CAN、USB3.0、LIN等则是在那个过程中实现汽车数据共享以及指令的有效传达。

图1 无人驾驶硬件平台规范

传感器平台

目前现有的车载传感器包罗超声波雷达、激光雷达、毫米波雷达、车载摄像头、红外探头等。目前支流的无人驾驶传感平台以激光雷达和车载摄像头为主，并呈现多传感器交融开展的趋向。基于丈量才能和情况适应性，估计激光雷达和车载摄像头会持续传感器平台霸主的地位，其实不断与多种传感器交融，开展出多种组合版本。完整的无人驾驶系统应该如图2所示，各个传感器之间借助各自所长彼此交融、功用互补、互为备份、互为辅助。

图2 各类传感器在无人驾驶中的应用激光雷达

激光雷达的工做原理是操纵可见和近红外光波（多为950nm波段附近的红外光）发射、反射和领受来探测物体。激光雷达能够探测白日或黑夜下的特定物体与车之间的间隔。因为反射度的差别，也能够区分隔车道线和路面，但是无法探测被遮挡的物体、光束无法到达的物体，在雨雪雾气候下性能较差。

激光雷达在无人驾驶运用中拥有两个核心感化。3D建模停止情况感知。通过雷射扫描能够得到汽车四周情况的3D模子，运用相关算法比对上一帧和下一帧情况的变革能够较为容易的探测出四周的车辆和行人。

SLAM加强定位。3D雷射雷达另一大特征软件是同步软件建图（SLAM），实时得到的全局地图通过和高精度地图中特征物的比对，能够实现导航及加强车辆的定位精度。

激光雷达分类与产物

LIDAR以单线/多线及间隔两大因素为尺度，价格从几百美金到几万美金不等。单线激光雷达的应用在国内已经相对较广，像扫地机器人利用的即是单线激光雷达。单线激光雷达能够获取2D数据，但无法识别目的的高度信息。而多线激光雷达则能够识别2.5D以至是3D数据，在精度上会比单线雷达高良多。目前在国际市场上推出的次要有4线、8线、16线、32线和64线。跟着线数的提拔，其识此外数据点也随之增加，所要处置的数据量也十分庞大。好比，Velodyne的HDL-32E 传感器每秒能扫描70万个数据点，而百度无人车和Google无人车装备的Velodyne HDL-64E通过64束的雷射束停止垂曲范畴26.8度，程度360度的扫描，每秒能产生的数据点则高达130万。Velodyne HDL-64E的内部构造如图3，次要由上下两部门构成。每部门都发射32束的雷射束，由两块16束的雷射发射器构成，背部是包罗信号处置器和不变安装。

图3 激光雷达直播构造图

激光雷达雷射发射器线束越多，每秒收罗的云点就越多。然而线束越多也就代表雷射雷达的造价就愈加高贵，以Velodyne的产物为例，64线束的雷射雷达价格是16线束的10倍。HDL-64E单个定造的成本在8万元摆布。目前，Velodyne公司已经开发出了相对廉价的LiDAR传感器版本HDL-32E和HDL-16E。此中HDL-16E是由16束雷射代替64束雷射，撑持360度无盲区扫描，牺牲必然的数据规模云点，每秒钟只供给30万个数据点，但是售价仍高达售价8千美圆。

表1 Velodyne激光雷达详细数据

图4 Velodyne激光雷达

若是激光雷达要想在无人车上普及起首就应该降低价格。有两种处理法子：其一，接纳低线数雷达共同其他传感器，但需搭配拥有极高计算才能系统的无人车；其二，接纳固态激光雷达。激光雷达最贵的就是机械扭转部件，固态激光雷达无需扭转部件，接纳电子设备替代，因而体积更小，便利集成在车身内部，系统可靠性进步，成本也可大幅降低。但因为缺乏扭转部件，程度视角小于180°，所以需要多个固态雷达组合一路共同利用才行。

在CES2016上展出的两款重量级产物，其一是来自Quanergy的“固态”Solid State雷射雷达S3，采纳相控阵手艺，内部不存在任何扭转部件，仅为一盒手刺大小，单个售价初步定在250美圆，量产后可能降至100美圆；其二是由Velodyne与福特配合发布的混合固态雷射雷达VLP-16 PUCK，2020年方案量产价为500美圆，2025年方案把成本控造在200美金以内。奥迪的无人驾驶汽车A7 Piloted Driving就接纳了Ibeo和Valeo合做的Scala混合固态雷射雷达，在外不雅上看不到扭转部件，但内部仍靠机械扭转实现雷射扫描。此前国内雷达造造商速腾聚创颁布发表完成的16线激光雷达接纳的也是混合固态的形式。固态雷达雷达产物则因为接纳电子计划去除了机械扭转部件，因而具有低成本（几百美圆级别）和体积小、可集成至传统车辆外不雅中的特点。行业对固态雷达的呈现仍处不雅望立场，次要因为：起首，对成本能否能有如斯大幅下降抱有疑问；其次，激光特征在大雾等气候仍然其实不适用。

国表里造造现况

目前，激光雷达已被应用在某些无人驾驶试验车中：

Google和百度的无人驾驶试验车均接纳了Velodyne的64线雷射雷达；

福特的混动版蒙迪欧安拆了Velodyne的32线雷射雷达，第三代主动驾驶车辆Fusion Hybrid设置装备摆设了2台Velodyne的混合固态雷射雷达；

日产LEAF搭载了6个Ibeo的4线雷射雷达，测试了其高级驾驶辅助系统；

奥迪的无人驾驶汽车A7 Piloted Driving接纳了Ibeo和Valeo合做的Scala混合固态雷射雷达；

德尔福无人驾驶汽车装备了4台由Quanergy研发的固态雷射雷达；

群众的一款半主动驾驶汽车搭载了Scala，该雷射雷达隐藏在保险杠内，用于代替毫米波雷达做AEB的测距模块。

国外激光雷达研发厂商比力有代表性的有 Velodyne、Ibeo和Quanergy，而且他们都背靠巨头。Velodyne成立于1983年，位于加州硅谷。昔时美国举办的世界无人车挑战赛获得第一名和第二名的高校卡耐基梅隆大学和斯坦福大学，利用的就是Velodyne的激光雷达。目前其已有包罗 Velodyne16、32、64线激光雷达三个系列。Ibeo 是无人驾驶激光雷达供给商，成立于1998年， 2010年和法雷奥合做起头量产可用于汽车的产物 ScaLa，其目前次要供给4线和8线的激光雷达。Quanergy位于加州硅谷硅谷中心，成立于2012 年，固然相对“年轻”，但它造出了全球第一款固态激光雷达。

国内在激光雷达研发的企业则次要有北醒光子、思岚科技、镭神智能、速腾聚创、禾赛科技。此中，北醒光子目前的产物有三大系列：单线情况雷达DE-LiDAR 1.0、多线长距雷达DE-LiDAR 2.0 和固态雷达DE3.0系列（多线长距雷达目前正在研发，可做到8到32线）；镭神智能成立于2015岁首年月，是一家供给中远间隔脉冲测距激光雷达等产物及处理计划的公司；速腾聚创刚颁布发表完成其混合固态的16线激光雷达研发。

表2 Velodyne和Ibeo产物刀客规格比照毫米波雷达

毫米波雷达通过发射无线电信号（毫米波波段的电磁波）并领受反射信号来测定汽车车身四周的物理情况信息（如汽车与其他物体之间的相对间隔、相对速度、角度、运动标的目的等），然后按照所探知的物体信息停止目的逃踪和识别分类，进而连系车身动态信息停止数据交融，完成合理决策，削减变乱发作几率。

毫米波雷达的工做频段为30～300GHz毫米波，毫米波的波长为波长为1～10mm，介于厘米波和光波之间，因而毫米波兼有微波造导和光电造导的长处。雷达丈量的是反射信号的频次改变，并计算其速度变革。雷达能够检测30-100米远的物体，高端的雷达可以检测到很远的物体。同时，毫米波雷达不受气候情况限造，即便是雨雪天都能一般运做，穿透雾、烟、尘埃的才能强。具有全天候、全天时的工做特征，且探测间隔远，探测精度高，被普遍应用于车载间隔探测，如自适应巡航、碰碰预警、盲区探测等。

比拟激光雷达，毫米波雷达精度低、可视范畴的角度也偏小，一般需要多个雷达组合利用。雷达传输的是电磁波信号，因而它无法检测上过漆的木头或是塑料（隐形战斗机就是通过外表喷漆来躲过雷达信号的），行人的反射波较弱几乎对雷达“免疫”。同时，雷达对金属外表十分敏感，若是是一个弯曲的金属外表，它会被雷达误认为是一个大型外表。因而，路上一个小小的易拉罐以至可能会被雷达判断为庞大的路障。此外，雷达在大桥和隧道里的效果同样欠安。

图5 毫米波雷达应用范畴软件

毫米波雷达分类

毫米波雷达的可用频段有24GHz、60GHz、77GHz、79GHz，支流可用频段为24GHz和77GHz，别离应用于中短距和中长距丈量。比于24GHz，77GHz毫米波雷达物体分辩淮确度可进步2-4倍，测速和测距切确度进步3-5倍，能检测行人和自行车；且设备体积更小，更便于在车辆上安拆和摆设。如表3所示，长间隔雷达的侦测范畴更广，可适配开行速度更快的车辆，但是响应地探测精度下降，因而更适用于ACC自适应巡航那类的应用。典型的长间隔雷达有博世的一款产物，其探测前向间隔为250米；典型的短间隔雷达有大陆的一款产物，其探测间隔为前向60米后向20米。

图6 中距和短距雷达空间分辩率比照

为完全实现ADAS各项功用一般需要“1长+4中短”5个毫米波雷达，目前全新奥迪A4接纳的就是 “1长+4短”5个毫米波雷达的设置装备摆设。以主动跟车型ACC功用为例，一般需要3个毫米波雷达。车正中间一个77GHz的LRR，探测间隔在150-250米之间，角度为10度摆布；车两侧各一个24GHz的 MRR，角度都为30度，探测间隔在50-70米之间。图7是奔跑的S级车型，接纳的是7个毫米波雷达（1长+6短）。

图7 毫米波雷达在无人驾驶中的利用

电磁波频次越高，间隔和速度的检测解析度越高，因而频段开展趋向是逐步由24GHz向77GHz过渡的。1997年，欧洲电讯尺度学会确认76-77GHz做为防碰雷达公用频道。早在2005年原信息财产部发布《微功率（短间隔）无线电设备的手艺要求》将77GHz划分给车辆测距雷达。2012年，工信部进一步将24GHz划分给短距车载雷达营业。2015年日内瓦世界无线电通信大会将77.5-78.0GHz频段划分给无线电定位营业，以撑持短间隔高分辩率车载雷达的开展，从而使76-81GHz都可用于车载雷达，为全球车载毫米波雷达的频次同一指了然标的目的。至此之后，最末车载毫米波雷达将会同一于77GHz频段（76-81GHz），该频段带宽更大、 功率程度更高、探测间隔更远。

表3 中长距和短距雷达参数比照

毫米波雷达国表里造造现况

全球汽车毫米波雷达次要供给商为传统汽车电子优势企业，如博世、大陆、Hella、富士通天、电拆、TRW、德尔福、Autoliv、法雷奥等传统优势企业。

图8 毫米波雷达次要供给商

此中，博世核心产物是长间隔毫米波雷达，次要用于ACC系统；最新产物LRR4能够探测250米外的车辆，是目前探测间隔最远的毫米波雷达；市场占有率更高，但客户集中在奥迪和群众。大陆客户散布广，产物线齐备，主力产物为24GHz毫米波雷达，而且在Stop & Go ACC范畴占有率极高。Hella在24GHz-ISM范畴客户范畴最广，24GHz雷达传感器下线1000万片，出货量达650万片，市场占有率全球第一。第四代24GHz雷达传感器将在2017年中投入全球化消费。富士通天和电拆次要占据日本市场，此中富士通天略胜一筹。富士通天、松下和电拆是将来79GHz雷达市场范畴的强者。

目前中国市场中高端汽车拆配的毫米波雷达传感器全数依赖进口，国内自主车载毫米波雷达产物总体仍处于研造阶段。因研发成本及难度较低，国际市场上24GHz毫米波雷达供给链也已相对不变，目前国内厂商研发标的目的次要集中于24GHz雷达产物，可从飞思卡尔等供给商获得24GHz射频芯片。目前较为成熟的产物仅有湖南纳雷、厦门意行、芜湖森思泰克的24GHz中短距雷达。而77GHz产物设想难度较大，成本较高；而且英飞凌、ST、飞思卡尔等芯片厂商并没有对中国开放供给77GHz射频芯片，因而国内77GHz毫米波雷达的开发遭到很大限造。

图9 国内森思泰克和纳雷科技次要雷达产物

在雷达数据处置芯片范畴，次要接纳的是恩智浦（NXP）MR2001多通道77GHz雷达收发器芯片组， 包罗：MR2011RX、MR2001TX 、MR2001VC；以及意行半导体24GHz 射频前端MMIC套片产物，包罗：SG24T1、SG24R1、SG24TR1。2016年NXP推出了目前全世界最小（7.5×7.5mm）的单晶片 77GHz高解析度RFCMOS IC雷达晶片。该款车用雷达晶片的超小尺寸使其能够近乎隐形地安拆在汽车的肆意位置，且其功耗比传统雷达晶片产物低40%，为汽车传感器的设想安拆供给了极大便当。

表4 各个次要厂商次要产物毫米波直播雷达车载摄像头

车载摄像头的大致原理是：起首，收罗图像停止处置，将图片转换为二维数据；然后，停止形式识别，通过图像婚配停止识别，如识别车辆行驶情况中的车辆、行人、车道线、交通标记等；接下来，根据物体的运动形式或利用双目定位，以预算目的物体与本车的相对间隔和相对速度。

比拟于其他传感器，摄像头最为接近人眼获取四周情况信息的工做形式，能够通过较小的数据量获得最为全面的信息，同时因为如今的摄像头手艺比力成熟，成本可较低。但是，摄像头识别也存在必然局限性，基于视觉的处理计划受光线、气候影响大；同时，物体识别基于机器进修材料库，需要的训练样本大，训练周期长，也难以识别非尺度障碍物；同时，因为广角摄像头的边沿畸变，得到的间隔准确度较低。

从应用计划动身，目前摄像头可划分为单目、后视刀客、立体（双目）、环视摄像头四种。如表5总结：

表5 摄像头的无人应用场景

单目摄像头一般安拆在前挡风玻璃上部，用于探测车辆前方情况，识别道路、车辆、行人等。先通过图像婚配停止目的识别（各类车型、行人、物体等），再通过目的在图像中的大小去预算目的间隔。那要求对目的停止淮确识别，然后要成立其实不断维护一个庞大的样本特征数据库，包管那个数据库包罗待识别目的的全数特征数据。若是缺乏待识别目的的特征数据，就无法预算目的的间隔，招致ADAS系统的漏报。因而，单目视觉计划的手艺难点在于模子机器进修的智能水平或者说形式识此外精度；

后视摄像头，一般安拆在车尾，用于探测车辆前方情况，手艺难点在于若何适应差别的恶劣情况；

立体（双目）摄像头，是通过对两幅图像视差的计算，间接对前方景物（图像所拍摄到的范畴）停止间隔丈量，而无需判断前方呈现的是什么类型的障碍物。依靠两个平行安插的摄像头产生的“视差”，找到统一个物体所有的点，依赖切确的三角测距，就可以算出摄像头与前方障碍物间隔，实现更高的识别精度和更远的探测范畴。利用那种计划，需要两个摄像头有较高的同步率和采样率，因而手艺难点在于双目的定及双目定位。比拟单目，双目标处理计划没有识别率的限造，无需先识别可间接停止丈量；间接操纵视差计算间隔精度更高；无需维护样本数据库。但因为检测原理上的差别，双目视觉计划在间隔测算上比拟单目以及毫米波雷达、激光雷达，其硬件成本和计算量级的加倍，也是另一个难关。

环视摄像头，一般至少包罗四个摄像头，别离安拆在车辆前、后、左、右侧，实现360°情况感知，难点在于畸变复原与对接。

按照差别ADAS功用的需要，摄像头的安拆位置也有差别。次要分为前视、后视、侧视以及内置。实现主动驾驶时全套ADAS功用将安拆6个以上摄像头。

图10 无人车摄像头方位设置

前视摄像头一般接纳55度摆布的镜头来得到较远的有效间隔，有单目和双目两种处理计划。双目需要拆在两个位置，成本较单目贵50%。环视利用的是广角摄像头，凡是在车四周配备四个停止图像拼接实现全景图，通过辅助算法可实现道道路感知。后视接纳广角或者鱼眼镜头，次要包含为倒车后视利用。侧视一般利用两个广角摄像头，完成盲点检测等工做，也可取代后视镜，那一部门功用也可由超声波雷达替代。内置利用的也是广角镜头，安拆在车内后视镜处，完成在行驶过程中对驾驶员的闭眼提醒。此中，前视摄像头能够实现ADAS主动平安的核心功用如车道偏离预警、车辆识别应用、车辆识别、行人识别、道路标识识别等，将来将是主动告急刹车（AEB）、自适应巡航（ACC）等主动控造功用的信号入口，平安品级较高，应用范畴较广，是目前开发的热点。

表6 按功用需求的摄像头划分

车载摄像头在工艺上的首要特征是快速，出格是在高速行驶场所，系统必需能记录关键驾驶情况、评估那种情况并实时启动响应办法。在140km/h的速度，汽车每秒要挪动40米。为制止两次图像信息获取间隔期间主动驾驶的间隔过长，要求相机具有最慢不低于30帧/秒的影像捕获速度，在汽车造造商的规格中，以至提出了60帧/秒和120帧/秒的要求。在功用上，车载摄像头需要在复杂的运动路况情况下都都能包管收罗到不变的数据。详细表示为：

高动态：在较暗情况以及明暗差别较大下仍能实现识别，要求摄像头具有高动态的特征。

中低像素：为降低计算处置的承担，摄像头的像素其实不需要十分高。目前30-120万像素已经能满足要求。

角度要求：关于环视和后视，一般接纳135度以上的广角镜头，前置摄像头对视距要求更大，一般接纳55度的范畴。

同时，比拟工业级与生活级摄像头，车载类型在平安级别上要求更高，尤其是对与前置ADAS的镜头平安品级要求更高。次要表现在：

温度要求：车载摄像头温度范畴在-40~80℃。

防磁抗震：汽车启动时会产生极高的电磁脉，车载摄像头必需具备极高的防磁抗震的可靠性。

较长的寿命：车载摄像头的寿命至少要在8-10年以上才气满足要求。

图11 各类无人驾驶应用摄像头

按照IHS Automotive预测，车载摄像头系统出货量有望在2021年到达7400万套/年。国内行业龙头优势地位明显，如舜宇光学车载后视镜头出货量目前居全球第1位，全球市场占有率达30%摆布，产物包罗前视镜头、后视镜头、环视镜头、侧视镜头、内视镜头等。客户广泛欧美、日韩和国内。详细的型号包罗有：4005、4408、4009、4017、4017、4034、4043、4044等。以4005与4043为例，其规格参数见表7。

表7 按功用需求的摄像头划分GPS/IMU

GPS在复杂的动态情况中，尤其在大城市，其多途径反射的问题很显著，招致获得的GPS定位信息很容易产生几米的误差。别的，因为GPS的更新频次低（10Hz），在车辆快速行驶时很难给出精准的实时定位。单纯依赖GPS的导航很有可能招致交通变乱。因而GPS凡是辅助以惯性传感器（IMU）用来加强定位的精度。IMU是检测加速度与扭转运动的高频（1KHz）传感器，但IMU本身也有误差积累与噪音等问题影响成果。通过利用基于卡尔曼滤波的传感器交融手艺，我们能够交融GPS与IMU数据，连系GPS的定位精度高和误差无积累的特点，与IMU的自主性和实时性的长处。一方面能够实现导航设备之间优势互补，加强系统适应动态的才能，并使整个系统获得优于部分系统的精度；另一方面进步了空间和时间的笼盖范畴，从而实现实正意义上的持续导航。因而，GPS/IMU组合的优势在于：

系统精度的进步。操纵GPS的持久不变性填补IMU误差随时间累积的缺点。GPS/IMU组合后的导航误差现实上要比零丁的GPS或零丁的惯导系统可能到达的误差都小。

系统抗干扰才能的加强。操纵IMU的短期高精度填补GPS系统易受干扰、信号易失锁等缺点，同时借助IMU的姿势信息、角速度信息可进一步进步GPS系统快速捕捉或从头锁定卫星信号的才能。

导航信息的补全。GPS/IMU组合系统与单GPS比拟，除了能够供给载体运动的三维位置和速度信息外，还可供给加速度、姿势和航向信息；GPS/IMU组合系统此外可供给100Hz以至高于100Hz的数据更新率。

IMU惯性器件的标定手艺因为加速度计、陀螺仪等惯性器件自己存在缺陷，会产生一些器件误差，如标度因数误差等。别的，在对IMU停止集成的时候，各个器件之间的非正交安拆会引起穿插耦合误差。以上那些误差能够通过器件标定来加以抵偿，以到达进步其精度的目标。

GPS/IMU的次要造造商包罗：NovAtel、Leica、CSI Wireless以及Thales Navigation。此中，NovAtel提出了SPAN手艺。SPAN集合了GPS定位的绝对精度与IMU陀螺和加速计丈量的不变性，以供给一个3D的位置、速度和姿势解算成果。即便在GPS信号被遮挡的时候，也能供给不变持续的解算成果。基于SPAN手艺，NovAte有两款次要的GPS/IMU产物：SPAN-CPT一体式组合导航系统与SPAN-FSAS分式组合导航系统。SPAN-CPT接纳NovAtel自主的专业级的高精度GPS板卡与德国的iMAR公司造造的光纤陀螺IMU。其解算精度在差别的形式下可适用于差别的定位需求，撑持包罗SBAS，L波段（Omnistar和CDGPS）和RTK差分等多种体例；系统更高航向精度0.05°；俯仰横滚精度0.015°。SPAN-FSAS也接纳德国iMAR公司高精度、闭环手艺的IMU，其陀螺误差小于0.75度/小时和加速计误差小于1mg，共同目前NovAtel 的FlexPak6™或ProPak6™集成了组合导航解算。从IMU-FSAS的惯性丈量数据发送到GNSS领受机停止解算，GNSS+INS的位置，速度和姿势输出速度高达200Hz。

图12 NovAtel两款GPS/IMU产物

计算平台

当硬件传感器领受到情况信息后，数据会被导入计算平台，由差别的芯片停止运算。计算平台的设想间接影响到无人驾驶系统的实时性以及鲁棒性。本节将深切领会无人驾驶计算平台。

计算平台实现

为了领会无人驾驶计算平台的要点，我们来看一个行业领先的某四级无人驾驶公司现有的计算平台硬件实现。为了领会芯片造造商将若何处理那些问题，我们来看现有的差别芯片造造商所供给的无人驾驶计算处理计划。

那个四级无人驾驶公司的计算平台由两计算盒构成。每个计算盒装备了一颗英特尔至强E5处置器（12核）和四到八颗NVIDIA K80 GPU加速器，相互利用PCI-E总线毗连。CPU运算峰值速度可达400帧/秒，消耗400W的功率。每个GPU运算峰值速度可达8Tops/s，同时消耗300W的功率。因而，整个系统可以供给64.5 TOP/S的峰值运算才能，其功率需求为3000W。计算盒与车辆上安拆的十二个高精度摄像头相毗连，以完成实时的物体检测和目的跟踪使命。车辆顶部还安拆有一个激光雷达安装以完成车辆定位及避障功用。为了包管可靠性，两个计算盒施行完全不异的使命。一旦第一个计算盒失效，第二个计算盒能够立即接收。在最坏的情况下两个计算盒都在计算峰值运行，那意味着将产生超越5000瓦的功耗并急聚大量的热量，散热问题不容轻忽。此外，每个计算盒的成本估计为2至3万美圆，那是通俗消费者底子无法接受的整体处理计划。

现有计算处理计划词条

接下来，我们将别离介绍现有的针对无人驾驶的计算处理计划。

基于GPU的计算处理计划

NVIDIA的PX平台是目前领先的基于GPU的无人驾驶处理计划。每个PX2由两个Tegra SoC和两个Pascal GPU图形处置器构成，此中每个图像处置器都有本身的公用内存并装备有公用的指令以完成深度神经收集加速。为了供给高吞吐量，每个Tegra SOC利用PCI-E Gen 2 x4总线与Pascal GPU间接相连，其总带宽为4 GB/s。此外，两个CPU-GPU集群通过千兆以太网项链，数据传输速度可达70 Gigabit/s。借助于优化的I/O架构与深度神经收集的硬件加速，每个PX2可以每秒施行24兆次深度进修计算。那意味着当运行AlexNet深度进修典型应用时，PX2的处置才能可达2800帧/秒。

图13 NVIDIA PX2

基于DSP的处理计划

德州仪器供给了一种基于DSP的无人驾驶的处理计划。其TDA2x SoC拥有两个浮点DSP内核C66x和四个专为视觉处置设想的完全可编程的视觉加速器。比拟ARM Cortex-15处置器，视觉加速器可供给八倍的视觉处置加速且功耗更低。类似设想有CEVA XM4。那是另一款基于DSP的无人驾驶计算处理计划，专门面向计算视觉使命中的视频流阐发计算。利用CEVA XM4每秒处置30帧1080p的视频仅消耗功率30MW，是一种相对节能的处理计划。

图14 TI TDA2

基于FPGA的处理计划

Altera公司的Cyclone V SoC是一个基于FPGA的无人驾驶处理计划，现已应用在奥迪无人车产物中。Altera公司的FPGA专为传感器交融供给优化，可连系阐发来自多个传感器的数据以完成高度可靠的物体检测。类似的产物有Zynq专为无人驾驶设想的Ultra ScaleMPSoC。当运行卷积神经收集计算使命时，Ultra ScaleMPSoC运算效能为14帧/秒/瓦，优于NVIDIA Tesla K40 GPU可达的4帧/秒/瓦。同时，在目的跟踪计算方面，Ultra ScaleMPSoC在1080p视频流上的处置才能可达60fps。

图15 Altera Cyclone V

基于ASIC的处理计划

Mobileye是一家基于ASIC的无人驾驶处理计划供给商。其Eyeq5 SOC配备有四种异构的全编程加速器，别离对专有的算法停止了优化，包罗有：计算机视觉、信号处置和机器进修等。Eyeq5 SOC同时实现了两个PCI-E端口以撑持多处置器间通信。那种加速器架构测验考试为每一个计算使命适配最适宜的计算单位，硬件资本的多样性使应用法式可以节省计算时间并进步计算效能包含。

图16 MobilEye EyeQ5

计算平台系统构造设想摸索

我们测验考试对以下问题构成一些初步认识：

各类计算单元最合适什么样的工做负载；

能否利用挪动处置器施行无人驾驶计算使命；

若何设想一个高效的无人驾驶计算平台。

计算单位与计算负载的婚配

我们试图领会哪些计算单位最合适施行卷积和特征提取类应用，那是无人驾驶场景中最计算密集型工做负载。我们在现有的ARM SOC上完成了尝试验证，此ARM SOC一个四核CPU、GPU、 DSP构成。为了研究研究各类异构硬件的能耗与性能行为，我们别离在CPU、GPU、DSP实现并优化了特征提取和卷积那两类计算负载，同时丈量了芯片级能耗。

起首，我们别离在CPU、GPU、DSP实现了卷积应用，那是在对象识别和目的跟踪使命中最常用、计算也最为密集的阶段。当在CPU上运行时，每次卷积大约需要8毫秒来完成，能耗为20MJ；在DSP上运行时，每次卷积需要5毫秒来完成，能耗为7.5MJ；在GPU运行时，每次卷积只需要2毫秒来完成，能耗也仅需4.5MJ。那表白，无论是性能和能耗表示，GPU是施行卷积使命最有效的计算单位。

接下来，我们实现了别离在CPU、GPU、DSP特征提取应用。特征提取为无人驾驶的定位产生特征点，那是定位阶段计算量更大的工做负载：在CPU上运行时，每个特征提取的使命大约需要20毫秒来完成，耗能50MJ；在GPU上运行时，每个特征提取的使命需要10毫秒来完成，耗能22.5 MJ；在DSP中运行时，每个特征提取的使命仅需要4毫秒，仅消耗6MJ。那些成果表白，从性能和能耗的角度动身，DSP是特征提取最有述阐发，那是因为对GPU和DSP那类专注于并行的硬件而言，上述使命偏重于控造逻辑因为得不到高效施行。

挪动处置器上的无人驾驶刀客无人曲播软件？

我们测验考试领会无人驾驶系统在上述ARM挪动SoC上的施行情况，并摸索撑持主动驾驶的更低硬件平台设置装备摆设。图17显示了一个面向基于视觉的无人驾驶驾驶的挪动SoC系统构成。在那个挪动SoC实现中，我们操纵DSP处置传感器数据，如特征提取和光流；我们利用GPU完成深度进修使命，如目的识别；接纳两个CPU线程完成定位使命以实现车辆实时定位；我们利用一个CPU线程实现实时途径规划；利用另一个CPU线程停止避障操做。若是CPU尚未被全占有，多个CPU线程则能够在统一CPU核心上运行。

图17 无人驾驶的Mobile SOC设想

令人惊讶的是，尝试数据证明，无人驾驶系统在ARM SOC上运行的性能其实不差。定位流水线每秒可处置25帧图像，图像生成速度为每秒30帧图像，那申明产生的图像大部门能够得到及时处置，不会产生大规模的丢帧。深度进修流水线每秒可以施行2到3个目的识别使命。规划和控造流水线目的是在6MS内完成途径规划。当利用ARM挪动端SOC停止无人驾驶时，我们可以以5英里/小时的速度行驶车辆，而且不丧失任何定位信息；同时，整个SOC均匀功耗为11W。挪动SoC的硬件资本有限，可以撑持有限范畴内的无人驾驶系统确实长短常令人欣喜的发现。那申明若是增加更多的计算资本，硬件平台就可以处置更多的数据，并撑持车辆以更快的速度行驶，最末满足产物级无人驾驶系统的需要。

控造平台

控造平台是无人车的核心部件，控造着车辆的各类控造系统，包罗汽车防抱死造动系统（ABS）、汽车驱动防滑转系统（ASR）、汽车电子不变法式（ESP）、电子感应造动控造系统（SBC）、电子造动力分配（EBD）、辅助造动系统（BAS）、平安气囊（SRS）和汽车雷达防碰碰系统、电控主动变速器（EAT）、无级变速器（CVT）、巡航控造系统（CCS）、电子控造悬架（ECS）、电控动力转向系统（EPS）等等。控造平台次要包罗了电子控造单位ECU与通信总线两大部门：ECU次要实现控造算法，通信总线次要实现ECU以及机械部件间的通信功用。接下来我们详细介绍一下控造平台。

电子控造单位ECU

ECU（Electronic Control Unit）电子控造单位，俗称“车载电脑”。是汽车公用微机控造器，也叫汽车公用电脑。策动机工做时，ECU收罗各传感器的信号，停止运算，并将运算的成果改变为控造信号，控造被控对象的工做。固有法式在策动机工做时，不竭地与收罗来的各传感器的信号停止比力和计算。把比力和计算的成果控造策动机的点火、怠速、废气再轮回等多项参数的控造。它还有毛病自诊断和庇护功用。存储器也会不断地记录行驶中的数据，成为ECU的进修法式，为适应驾驶习惯供给更佳的控造形态，那叫自适应法式。在高级轿车上，有不行一只ECU，如防抱死造动系统、四轮驱动系统、电控主动变速器、主动悬架系统、平安气囊系统、多向可调电控座椅等都设置装备摆设有各自的ECU。跟着轿车电子化主动化的进步，ECU将会日益增加，线路会日益复杂。宝马、奔跑和奥迪三大车厂各系列高阶车款皆已包罗超越一百个电子控造单位（ECU）。ECU的电压工做范畴一般在6.5-16V（内部关键处有稳压安装）、工做电流在0.015-0.1A、工做温度在-40~80℃， 能接受1000Hz以下的振动，损坏率十分小。

ECU从用处上讲是汽车公用微机控造器，也叫汽车公用单片机。它和通俗的单片机一样，由微处置器（CPU）、存储器（ROM、RAM）、输入/输出接口（I/O）、模数转换器（A/D）以及整形、驱动等大规模集成电路构成。存储器ROM中贮存的是一套固定的法式，该法式是颠末切确计算和大量尝试取的数据为根底。固有法式在策动机工做时，不竭地与收罗来的各传感器的信号停止比力和计算，然后输出指令，以控造策动机的点火、空燃比、怠速、废气再轮回等多项参数的设置，判断能否需要改动的喷油量几，点火正时是需要提早仍是延后，气门开度的大小等 。

详细来说，当策动机启动时，电控单位进入工做形态，某些法式从ROM中取出，进入CPU，那些法式公用于控造点火时刻、控造汽油喷射、控造怠速等等。施行法式中所需的策动机信息，来自各个传感器。那些传感器信号一经收罗起首进入输入回路承受处置，若是是模仿信号，则需先颠末A/D转换器转换成数字信号。大大都传感器信息将先暂存在RAM内，然后按照法式处置挨次由从RAM送至CPU。接下来是将存储器ROM中的参考数据引入CPU，与传感器输入数据停止比力。CPU在完成对那些数据比力运算后，做出决定并发出指令信号，经I/O接口包含停止放大，需要的信号还经D/A转换器酿成模仿信号，最初经输出回路控造施行器动做。

跟着轿车电子化主动化的进步，ECU将会日益增加，目前高端汽车在总计100多个ECU系统中包罗多达200个微处置器。那数百个ECU，在汽车内部构成了一个区域网。一个ECU发出的数据包，所有的节点城市领受到，但只要承担该数据包使命的节点，才会去施行号令。举个例子，好比刹车灯。当监控刹车踏板的ECU，监测到踏板行程有变更时，就会通知监测尾灯的ECU。此时，该ECU控造尾灯，并将其通电点亮。那一个简单的操做，其实背后有至少2个ECU的共同。要让所有的那些ECU之间彼此共同，就需要接纳一种称为多路复用通信收集协议停止信息传递， 控造器区域网（Controllers Area Network，CAN）总线是此中之一。

借助CAN协议，汽车内部的数百个ECU能够组建一个区域网， 有效地处理线路信息传递所带来的复杂化问题。通用、沃尔沃、特斯拉等车型撑持长途控造，其原理就是手机发出的指令先抵达伺服器，然后被转发到车载通信模块。车载通信模块领受到指令后，再通过CAN总线将指令传到达各个ECU。

为了填补CAN协议在某些方面的不敷，汽车工业还研发出了无人良多其他协议，好比LIN协议。比拟CAN，LIN的带宽要更小，承载的数据量更少，但同时成本也更低，合适应用于一些简单的ECU中，好比车窗起落等。随著手艺前进，汽车内部的数据量暴增。尤其是大萤幕的普及和流媒体手艺的介入，让CAN总线在某些时候“力有未逮”，已无法胜任工做。于是，更高级的通信协议问世了，好比MOST、FlexRay、乙太网等。那些协议尺度，拥有更大的带宽与更强的不变性。此中，MOST是一种高速多媒体传输接口，专门为汽车内部的一些高码率音频、视频供给传输。FlexRay也是一种高速协议，但不只限于多媒体传输。在主动驾驶的奥迪A7中，位于后备箱的车载CPU（奥迪称之为zFAS）模组，就是依靠FlexRay协议来读取前置摄像头捕获的数据。

EUC的次要消费厂商包罗有博世（BOSCH）、德尔福（DELPHI）、马瑞利（MARELLI）、日立（Hitachi）、大陆（Continental）、日本电拆（DENSO）等。次要产物包罗有：博世的M7、M7.9.7、M7.9.7.1、ME7、ME7.9.7、ME7.8.8、EDC16、054K0；德尔福的MT20U2、MT20U、MT20、MR140、MT80、ITMS-6F；日立/电拆的69J0、69EB、77J0、3601015A28K；西门子SIM2K-34、SIM2k-51.4、SIM2k-D51、SIMK43等系列。

CPU是ECU中的核心部门，它具有运算与控造词条的功用，策动机在运行时，它收罗各传感器的信号，停止运算，并将运算的成果改变为控造信号，控造被控对象的工做。它还实行对存储器（ROM、RAM）、输入/输出接口和其他外部电路的控造。Power Train ECU接纳的CPU根本来自于Infineon、ST、Freescale。BOSCH的16位ECU M(E)7系列早期次要利用Infineon C167内核的CPU。之后ST为BOSCH定造了ST10系列CPU，价格上更有优势，因而BOSCH后期的16位ECU都根本上接纳ST10系列CPU。BOSCH的32位ECU ME9系列次要利用Freescale的PowerPC内核的CPU MPC55系列。ME9次要在美国市场上销售的MED17系列则利用Infineon的Tricore内核CPU TC17xx。MED17系列ECU有好多分枝，别离利用差别型号的TC17xx CPU。MEDC18系列仍然沿用PowerPC道路，选择了选择ST和Freescale两家供给商，利用了Freescale的XPC56系列CPU以及ST的SPC56系列CPU。车身ECU的则选择更多，Infineon、ST、Freescale、NEC和瑞萨电子都供给相关CPU的撑持。

通信总线

跟着汽车各系统的控造逐渐向主动化和智能化改变，汽车电气系统变得日益复杂。为了满足各电子系统的实时性要求，我们须对汽车数据，如策动机转速、车轮转速、节气门踏板位置等信息，实行共享，因而我们需要汽车通信总线。目前，车用总线手艺被美国汽车工程师协会SAE部属的汽车收集委员会根据协议特征分为A、B、C、D四类。

图18 车用通信总线

下面我们次要领会下部分互联协议LIN，控造器局域网CAN，以及高速容错收集协议FlexRay。

部分互联协议LIN

LIN是面向汽车低端散布式应用的低成本，低速串行通信总线。它的目的是为现有汽车收集供给辅助功用，在不需要CAN总线的带宽和多功用的场所利用，降低成本。LIN相关于CAN的成本节省次要是因为接纳单线传输、硅片中硬件或软件的低实现成本和无需在隶属节点中利用石英或陶瓷谐振器。那些长处是以较低的带宽和受局限的单宿主总线拜候办法为代价的。LIN接纳单个主控造器多个从设备的形式，在主从设备之间只需要1根电压为12伏的信号线。那种次要面向“传感器/施行器控造”的低速收集，其更高传输速度可达20Kb/S，次要应用于电动门窗、座椅调理、灯光照明等控造。典型的LIN收集的节点数能够到达12个。以门窗控造为例，在车门上有门锁、车窗玻璃开关、车窗起落电机、操做按钮等，只需要1个LIN收集就能够把它们连为一体。而通过CAN网关，LIN收集还能够和汽车其他系统停止信息交换，实现更丰硕的功用。

LIN包罗一个宿主节点（Master）和一个或多个隶属节点（Slave）。所有节点都包罗一个被合成为发送和领受使命的隶属通信使命，而宿主节点还包罗一个附加的宿主发送使命。在实时LIN中，通信老是由宿主使命倡议的。除了宿主节点的定名之外，LIN收集中的节点不利用有关系统设置的任何信息。我们能够在不要求其它隶属节点改动硬件和软件的情况下向LIN中增加节点。宿主节点发送一个包罗同步中断、同步字节和动静识别码的动静报头。隶属使命在收到和过滤识别码后被激活并起头动静响应的传输。响应包罗两个、四个或八个数据字节和一个查抄和（checksum）字节。报头和响应部门构成一个动静帧。LIN总线上的所有通信都由主机节点中的主机使命倡议，主机使命按照进度表来确定当前的通信内容，发送响应的帧头，并为报文帧分配帧通道。总线上的从机节点领受帧头之后，通过解读标识符来确定本身能否应该对当前通信做出响应、做出何种响应。基于那种报文滤波体例，LIN可实现多种数据传输形式，且一个报文帧能够同时被多个节点领受操纵。

图19 LIN总线

控造器局域网CAN

在当前的汽车总线收集市场上，占据主导地位的是CAN总线。CAN总线是德国博世公司在20世纪80年代初为领会决现代汽车中浩瀚的控造与测试仪器之间的数据交换问题而开发的一种串行数据通信协议。它的短帧数据构造、非毁坏性总线性仲裁手艺及灵敏的通信体例适应了汽车的实时性和可靠性要求。CAN总线分为高速和低速两种，高速CAN更高速度为1Mbps（C类总线），低速CAN为250Kbps（B类总线）。

图20 CAN总线

CAN总线一般为线型构造，所有节点并联在总线上。当一个节点损坏时，其他节点仍然能一般工做。但当总线一处呈现短路时，整个总线便无法工做。CAN总线是接纳CSMA/CA（Carrier Sense Multiple Access with Collision Avoidance）机造。各节点会不断监听总线，发现总线空闲时便起头发送数据。当多个节点同时发送数据时，会通过一套仲裁机造合作总线。每个节点会先发送数据的ID，ID越小暗示优先级越大，优先级大的会主动笼盖小的ID。当节点发现本身发送的ID被笼盖掉时，就晓得有比他优先级更高的动静正在被发送，便主动停行发送。优先级更高的动静获得总线利用权，起头发送数据。当高优先级的数据包发送完后，各节点便又测验考试合作总线。如斯频频下去。如许能更大程度的操纵总线。短处是会有时效延迟，优先级越低的数据包，可能需要期待的时间越长。从那点上来讲，CAN总线不是一种实时总线。当CAN总线有节点发现当前发送的数据有误时，会发送错误帧告知总线上的所有节点。发送错误数据的节点会重发。每个节点都有一个错误计数器。当一个节点老是发送或领受错误超越必然次数时，会主动退出总线。

高速容错收集协议FlexRay

FlexRay总线数据收发采纳时间触发和事务触发的体例。操纵时间触发通信时，收集中的各个节点都预先晓得相互将要停止通信的时间，领受器提早晓得报文抵达的时间，报文在总线上的时间能够预测出来。即使行车情况恶劣多变，干扰了系统传输，FlexRay协议也能够确保将信息延迟和颤动降至更低，尽可能连结传输的同步与可预测。那对需要持续及高速性能的应用（如线控刹车、线控转向等）来说，长短常重要的。

图21 FlexRay总线

FlexRay总线用的是TDMA（Time Division Multiple Access）和FTDMA（Flexible Time Division Multiple Access）两种周期通信办法。FlexRay将一个通信周期分为静态部门、动态部门、收集空闲时间。静态部门利用TDMA办法，每个节点会平均分配时间片，每个节点只要在属于本身的时间片里面才气发送动静，即便某个节点当前无动静可发，该时间片仍然会保留（也就形成了必然的总线资本浪费）。在动态部门利用FTDMA办法，会轮流问询每个节点有没有动静要发，有就发，没有就跳过。静态部门用于发送需要经常性发送的重要性高的数据，动态部门用于发送利用频次不确定、相对不重要的数据。当FlexRay总线通信过程中呈现数据错误时，该周期里领受到的所有数据城市被丢弃掉，但没有重发机造。所有节点会继续停止下一个周期的通信。FlexRay同样也有错误计数器，当一个节点发送领受错误过多时会被踢出总线。

FlexRay具有高速、可靠及平安的特点。FlexRay在物理上通过两条分隔的总线通信，每一条的数据速度是10MBit/s。FlexRay还可以供给良多收集所不具有的可靠性特点。尤其是FlexRay具备的冗余通信才能可实现通过硬件完全复造收集设置装备摆设，并停止进度监测。FlexRay同时供给灵敏的设置装备摆设，可撑持各类拓扑，如总线、星型和混合拓扑。FlexRay自己不克不及确保系统平安，但它词条具备大量功用，能够撑持以平安为导向的系统（如线控系统）的设想。

宝马公司在07款X5系列车型的电子控造减震器系统中初次应用了FlexRay手艺。此款车接纳基于无人飞思卡尔的微控造器和恩智浦的收发器，能够监视有关车辆速度、纵向和横向加速度、标的目的盘角度、车身和轮胎加速度及行驶高度的数据，实现了更好的乘坐温馨性以及驾驶时的平安性和高速响应性，此外还将施加给轮胎的负荷变更以及底盘的振动均减至最小。

结论

若是说算法是无人驾驶的灵魂，那么硬件平台就是无人驾驶的肉体。一个没有肉体的灵魂也只是孤魂野鬼罢了。再高峻上的算法也需要实如今硬件平台上才有适用价值。而硬件平台的设想间接决定了无人驾驶对情况的感知才能，计算性能与能耗，鲁棒性，平安性等。而无人驾驶的硬件平台又分为传感器平台、计算平台、以及控造平台三大部门。本文详细介绍那三种平台以及现有的处理计划。希望本文对无人驾驶从业者以及喜好者选择硬件的时候有帮忙。

做者简介：

唐洁，华南理工大学计算机科学与工程学院副传授。次要处置面向无人驾驶和机器人的大数据计算与存储平台、面向人工智能的计算系统架构、面向机器视觉的嵌入式系统研究。

刘少山，PerceptIn结合开创人。加州大学欧文分校计算机博士，研究标的目的：智能感知计算、系统软件、系统构造与异构计算。如今PerceptIn次要专注于SLAM手艺及其在智能硬件上的实现与优化。

责编：何永灿，欢送人工智能范畴手艺投稿、约稿、给文章纠错，请发送邮件至heyc@csdn.net

本文为《法式员》原创文章，未经允许不得转载，包含刀客无人直播软件的词条，更多出色文章请订阅《法式员》：http://dingyue.programmer.com.cn/

点击阅读无人驾驶手艺系列文章：

【CSDN在线曲播课】Google Tango将人类对空间的感知才能付与挪动设备。它能为应用开发带来哪些新思绪？又将若何影响我们的生活？赛格威机器人（Segway Robotics）高级架构师和算法负责人陈子冲，将在课程中为你一一解答。扫描下方二维码报名