基于重建和不确定性扩散的单目视觉3D物体检测

关连性。

为减少冗余，防止对有统筹前所景重新组合的依赖于，本文据估计了圆周得出结论结果的假设并一般来说假设PnP解法，使其重视假设更高的前所景点。此外，将假设通过PnP同步进行扩散还可以获得位姿的自变量特性值，还运用于评论者的测试置信度。

自统筹是仅指将得出结论的3D圆周直镜面为由此可知像圆周，这一每一次并不需要只用球体的相符位姿和变焦提法。为可用性直镜面偏输并据估计其假设，本文驳斥了鲁棒KL损失惨直，运用于这样一来时得出结论圆周的柯西分布区和真绝对值圆周的费米分布区彼此间的KL散度。这一损失惨直变量是本文的测试安均性进一步提低的最重要。

总之，本文的主要贡献如下：

本文驳斥了一种基于假设的一新3D球体的测试网络服务，该网络服务的培训每一次可以不必额外标记（例如最重要点、3D数学模型、重新组合掩膜）。本文首次将人口众多关连性一新方法运用于相符公共交通故事情节的3D球体的测试。 本文驳斥的鲁棒KL损失惨直一般来说于一般的基于深求学的假设据估计难题，并通过测试的测试了其相比之下普通KL损失惨直的占优势。 在KITTI样本集上的测试表格明，本文的的测试清晰度相比之下这两项的一个中心一新方法很强明显的进一步提低。

由此可知1 的测试解法的总体渐进

2 方面学术研究

A. 单目3D球体的测试

根据深个人信息的是从，这两项的本土化一新方法可以被粗略可分两类。

1)借助这两项的单目深据估计一新方法。Pseudo-LiDAR一新方法[39]将深由此可知反转为3D伪点云总括，将其可用至微波点云3D球体的测试一新方法。D4LCN[8]一般来说深由此可知作为取向转换成动态滤波支架，运用于低效提炼出由此可知像之前所的3D个人信息。这些一新方法的占优势是从于预培训的深据估计网络服务，例如DORN[9]，但单目深据估计网络服务或许存在泛化时难题。

2)一般来说2D-3D庞加莱过关斩将制执行。Deep MANTA一新方法[4]用含有36个最重要点的车模版标记了培训样本，然后培训网络服务找到最佳也就是说的模版，同时紧毗连著2D最重要点的圆周，最后一般来说EPnP解法[20]计算车位姿。RTM3D一新方法[21]一般来说类似于CenterNet[41]的网络服务的测试绑定最重要点（3D板的角点和之前所心点）。此外，Mousavian等人[27]还驳斥了3D板内毗连2D板的过关斩将制执行。上述一新方法在遮蔽和阻塞只能过关斩将制执行不充份。

B. 人口众多关连性和3D修缮

这两项学术研究大多一般来说庞加莱真绝对值来培训人口众多关连性网络服务，也有大部分学术研究尝试了在不能能会庞加莱真绝对值的只能一般来说可导PnP解法培训后端到后端网络服务。

1)有庞加莱统筹。Pix2Pose一新方法[28]直毗连紧毗连著球体像素点的归一化时球体圆周（Normalized Object Coordinate，NOC）。DPOD一新方法[40]得出结论两管道UV圆周将球体表格面同构至3D圆周。关于大类级球体，Wang等人[36]展示了很强连续性连续性性的NOC可以两处理同大类之前所未出现过的示例。这些一新方法只在合成或简单四楼样本上同步进行了的测试。

2)无庞加莱统筹。Brachmann和Rother[1]驳斥了一种近似于的PnP也就是说扩散解法后端到后端地培训网络服务以彻底解决SfM难题。Chen等人[5]驳斥了很强的测试求导形式的BPnP一新方法。这些一新方法在培训时都一般来说直镜面损失惨直作为下述化时，也就自统筹，而不能能会充份学术研究极少依赖于自统筹本身的培训。

C. 假设据估计

深求学之前所的假设可以可分偶然间假设和观念假设[18]。前所者与测量杂讯有关，后者揭示数学模型变量的假设。Kendall和Gal[18]将九种方输紧毗连著导入深求学，通过KL损失惨直[14, 18]培训网络服务直毗连可用与样本方面的偶然间假设。然而，普通KL损失惨直对离群绝对值脆弱，且不易与其他损失惨直变量平衡状态，存在简化室内空间。

3 本文所驳斥的一新方法

由此可知2 MonoRUn网络服务架构

3.1. 难题所述与一新方法概要

等价一张RGB由此可知像，3D球体的测试并不需要对其之前所所有受重视的球体同步进行定位和分类，以获得每个球体的3D围攻板和大类标识。3D板的变量之外规格和位姿。其之前所是球体横摆角，是3D板圆锥之前所心点在变焦圆周系下的角度。

基于这两项的2D的测试支架，本文并不需要提炼出2D的测试板之前所的RoI特性，运用于得出结论3D圆周由此可知。对于自统筹培训，并不需要用球体相符位姿和变焦数学模型将3D圆周直镜面为2D圆周，其小得多限度是恢复由此可知像本身的2D圆周。如果直毗连这样一来时直镜面偏输而不重新考虑球体前所景和氛围，网络服务或许会受比如说氛围两处的较小偏输扰乱。因此，本文建筑设计了假设修缮接口，对直镜面圆周的假设同步进行据估计，并一般来说鲁棒KL损失惨直可用性由假设另量化的直镜面偏输。在的测试前所期，本文换用假设PnP接口将上述假设扩散至球体位姿，还用多元柯西分布区说明位姿。这一分布区被进一步运用于面试的测试的置信度。

3.2. 自统筹修缮网络服务

为两处理多种不同规格的大类级球体，换用两个网络服务支系分别得出结论3D规格和很强连续性连续性性的归一化时球体圆周（NOC）[36]。终究的球体圆周formula_则是NOCformula_和规格formula_的原素q：

第一个支系称作基本来说提炼出支架，负责对球体的基本来说观念并得出结论球体的3D规格。第二个支系称作NOC解码支架，一般来说变换层得出结论人口众多NOC由此可知。由于变换层的基本来说听觉技能有限，令其基本来说提炼出支架额外可用一个基本来说隐formula_以进一步提低NOC解码支架。隐formula_或许编码了球体的遮蔽、阻塞、形状等个人信息，应是的测试表格明其有助于偶然间假设的据估计。网络服务细节如下。

由此可知3 基本来说提炼出支架和MLP评分支系

基本来说提炼出支架如由此可知2右由此可知，7×7的RoI特性是由特性阶梯之前所更是低一级的特性提炼出而来。这一特性被展平后可用到基本来说提炼出支系，可用16管道的基本来说隐formula_并得出结论3D规格。规格可由标记的3D板规格直毗连统筹。如由此可知3右由此可知，这一网络服务由两层1024管道的均连毗连起来层连在一起。

由此可知4 NOC解码支架网络服务，其之前所上采样大部分换用CARAFE层[37]

NOC解码支架这一网络服务并不需要聚合基本来说隐formula_和连续性变换特性，运用于得出结论NOC。基本的充份利用一新方法借鉴了Squeeze-Excitation网络服务之前所的Excitation操作。如由此可知4右由此可知，首先行将隐formula_的管道数扩展为256，然后在上采样层前所将其和变换特性彼此间按管道求和。除了得出结论三管道的NOC由此可知，NOC解码支架还并不需要据估计两管道的偶然间假设，基本在下面一段所述。

基于偶然间假设的自统筹培训等价球体相符位姿，可将得出结论的球体圆周直镜面到由此可知像之前所。像素点的直镜面偏输为：

其之前所为变焦镜面变量，为球体转动特性值，为球体轴向formula_。为使得网络服务能在不能能会示例重新组合的只能专注于前所景偏输，本文导入了偶然间假设。基本而言，本文一般来说一元柯西分布区说明直镜面的2D圆周，令其网络服务得出结论其均绝对值和最小值，并由鲁棒KL损失惨直同步进行培训。从符合意义上说，可以按照由此可知2之前所的假设扩散正向，先行据估计之前所间变量的假设再将其扩散。从实用角度启程，可以选择更是轻松的上到，直毗连令其NOC解码支架据估计直镜面2D圆周的最小值，如由此可知4右由此可知。

附另加观念假设观念假设对于自动驾驶这种过关斩将调安均的应用故事情节十分直要。参见[18]之前所的一新方法，本文在的测试之前所一般来说荷兰阿姆斯特丹dropout计算的均绝对值和方输，在RoI Align后插入管道dropout层，在每个均连毗连起来层后插入1D dropout层。由于PnP解法两处理2D镜面方输效数万人更是低，本文先行将球体圆周的3D方输近似于反转为2D直镜面圆周的方输，并将其与偶然间假设重组。

3.3. 鲁棒KL损失惨直

根据下定义，KL损失惨直是由得出结论分布区和小得多限度分布区的KL散度假设而来。假设分布区均为柯西，则KL散度为：

对于互换的小得多限度分布区，是定绝对值，在这样一来时每一次之前所可以省略。假设小得多限度分布区狭窄（类似于费米分布区），远大于。记，可以得不到简化时的小得多限度变量：

本文将式（4）称作柯西KL损失惨直。应是将省略下标。为据估计紧毗连著难题之前所的九种方输，Kendall和Gal[18]驳斥用深网络服务直毗连得出结论依赖于样本的均绝对值和下式方输，还用式（4）同步进行可用性。似乎，式（4）的第一项是另量化的L2损失惨直，使假设较小的偏输项惩罚更是小。

柯西KL损失惨直虽然是由概数万人论点假设而来，在只用深紧毗连著数学模型之前所仍面临两个难题：

作为L2损失惨直的推动，柯西KL损失惨直对离群绝对值的鲁棒性输； 培训每一次之前所，随着分母 变大，损失惨直关于 的也就是说或许会日益大，而值得注意的L2或L1损失惨直的也就是说一般是变大或连续性的，这导致多种不同的损失惨直变量彼此间较难平衡状态。

针对第一个难题，[7, 18]由欧拉分布区假设了另一种KL损失惨直：

类似于于L1损失惨直，该变量在时不能导。为彻底解决这一难题，本文建筑设计了一种结合KL损失惨直，并将其记作另量化偏输和最小值的变量：

可以的测试该变量对和都能导。结合KL损失惨直即为Huber损失惨直（smooth L1）的推动，很强对离群绝对值鲁棒且较难可用性的特性。

对于第二个难题，随着培训等待时间增另加，渐渐变大，使得权直常数大幅度增高。这一难题可以通过权直归一化时彻底解决。受Batch Normalization[17]启发，本文通过仅指数旋转平均值该软件据估计平均值权直：

其之前所是动量项，是batch之前所的样本量。终究的鲁棒KL损失惨直即为权直归一化时后的结合KL损失惨直：

此例之前所，直毗连可用性或许会导致也就是说爆炸，并不需要令其网络服务可用其下式绝对值。

3.4. 假设PnP

很大似然据估计解PnP难题即为解位姿的很大似然据估计（MLE），其负下式似然（NLL）变量为直镜面偏输的马氏相距平方和：

其之前所，说明得出结论的直镜面圆周最小值。这一可用性难题可由Levenberg-Marquardt解法低效解。

自变量据估计位姿的自变量特性值近似于为NLL在点的Hessian特性值之逆[29]：

为防止在的测试时求二阶导数，本文用柯西-牛顿特性值作为Hessian特性值的近似于，其下定义为，其之前所（另量化直镜面偏输展平后的formula_）。

该软件自变量校准实际应用之前所，式（10）据估计的自变量特性值数绝对值偏小，其主要原因是式（9）假设了直镜面偏输是相互独立的，而实际网络服务可用的结果是很强方面性的。因此，本文导入了一个4×1的可求学校准formula_，运用于自变量的该软件校准：

校准formula_可以通过施另加多元柯西KL损失惨直同步进行可用性：

其之前所不参与可用性，只有被可用性。尽管本文3.3节认为了普通柯西KL损失惨直的不足，这一损失惨直变量不太或许运用于两处理这一简单可用性目标。

3.5. 评分支系

如由此可知3右由此可知，本文换用多层听觉机（MLP），将带有假设的位姿据估计结果与基本来说提炼出支架的特性融合，可用的测试的置信度。对于评分支系的培训，一般来说与[31, 32]之前所相同的二分类交叠熵损失惨直变量：

其之前所是MLP可用的3D定一段相距信度，小得多限度置信度是得出结论与真绝对值彼此间3D IoU的变量：

终究的的测试置信度是2D的测试置信度与的q。

3.6. 网络服务培训

本文在测试之前所分设了三种培训一新方法。

自统筹修缮（无附另加统筹）该种系统之前所，培训不能能会只用微波点云和可导PnP，除了规格有直毗连统筹均，3D修缮完均由自统筹的形式同步进行培训。总损失惨直变量为：

其之前所是2D的测试损失惨直，是关于直镜面偏输的鲁棒KL损失惨直，是关于规格偏输的smooth L1损失惨直，是自变量校准损失惨直的权直，改0.01。

另加微波统筹前所景微波点云可以再生时为NOC的稀少真绝对值，用以施另加直毗连NOC损失惨直。因为只有前所景点，不必换用偶然间假设。因此，本文换用另量化的smooth L1损失惨直：

其之前所说明NOC张量的第i个原素，在有真绝对值两处为1，其余为0。总损失惨直变量为：

除非有特殊说明，本文默认换用该一新方法培训网络服务。

后端到后端培训导入[5]之前所的PnP也就是说扩散一新方法，可以引子姿据估计偏输施另加smooth L1损失惨直。由于后端到后端培训PnP在初始前所期不稳定，本文换用与[1]之前所类似于的培训手段，即先行自统筹培训、再用后端到后端同步进行这两项。该一新方法只在测试之前所作为相异。

4 测试

4.1. 样本集

本文在KITTI-Object样本集上评论者数学模型的安均性。KITTI样本集之前所仅有7481张培训由此可知像，7518张的测试由此可知像，以及相应的点云，总仅有8个球体大类、80256个标记的球体示例。每个球体根据其遮蔽、阻塞和2D板相比之下可分了简单、之前所等、瓶颈三个级别。培训集又被进一步可分3712张培训由此可知像和3769张的测试由此可知像[6]。公开榜单并不需要对Car，Pedestrian，Cyclist三类球体同步进行评论者。评论者仅这两项是基于特定IoU阈绝对值（0.7或0.5）的准确数万人-召回数万人曲线计算的的。本文换用公开评论者一新方法，计算40点插绝对值平均值清晰度（AP）[33]。

4.2. 充份利用细节

2D的测试支架一般来说预培训的Faster R-CNN[30]作为2D的测试支架，其骨干成员网络服务一般来说ResNet-101[12]。本文换用6层FPN[23]，比值得注意FPN多一层上采样层。

修缮接口对于dropout比数万人，分设1D dropout层为0.5，管道dropout层为0.2。网络服务可用（规格，NOC）一般来说培训样本的均绝对值和方输同步进行了归一化时。当培训多类球体时，对每个大类得出结论一组特定的隐formula_、规格、NOC。

样本进一步提低在培训每一次之前所，换用随机翻转和调色进一步提低。对于NOC解码支架，分设两个可用支系，分别互换原始和翻转球体。

培训手段网络服务一般来说AdamW[24]可用性支架，权直发散改0.01。本文一般来说两张Nvidia RTX 2080 Ti GPU，总batch size为6张由此可知像。初始求学数万人改0.0002，一般来说余弦发散。在完整培训集上培训32个等待时间尺度，在培训交集上培训50个等待时间尺度。对于后端到后端培训，附另加一个15等待时间尺度的第二轮培训，初始求学数万人降为0.00003。

的测试一新方法对于观念假设，荷兰阿姆斯特丹dropout换用数改50[18]，默认只对基本来说提炼出支架同步进行采样。在后两处理前所期，一般来说3D NMS，IoU阈绝对值改0.01。

4.3. 与这两项一个中心一新方法的比较

表格1 KITTI的测试交集的测试集上大类Car的3D的测试安均性。*说明一般来说了预培训深据估计网络服务DORN[9]。Wang等人[38]认为DORN的培训样本与KITTI-Object的的测试样本有直叠，因此造成3D的测试安均性过也就是说，表格之前所灰色数字说明受过也就是说负面影响的结果。

表格1列举了本文一新方法和其它一个中心一新方法在KITTI的的测试集（Val）和公开的测试集（Test）上的的测试结果。可以得不到以下结论：（1）当一般来说微波点云统筹时，本文一新方法在的测试集上的清晰度明显低于这两项一个中心一新方法。其余标明*的前所三名也只用了额外的深统筹。（2）当不一般来说额外统筹时，本文驳斥的一新方法仍至少了其它不一般来说深据估计的一新方法。（3）本文一新方法的单帧的测试等待时间为0.07 s（之外荷兰阿姆斯特丹和PnP），反应速度都能，而其余前所三名的单帧等待时间至少0.2 s（不之外DORN[9]的0.5 s深据估计等待时间）。

表格2 KITTI的测试集上Pedestrian和Cyclist的3D的测试安均性

表格2列举了本文一新方法和其它一个中心一新方法在Pedestrian和Cyclist类上的的测试安均性。本文的Pedestrian的测试清晰度在此之前所为榜单最低，但Cyclist清晰度较输。鉴于KITTI样本集之前所Pedestrian和Cyclist示例可用太少，存在较小必然性，该结果极少供参见。

4.4. 出现异常测试

本节所有测试都在培训交集和的测试交集上同步进行，评论者仅这两项换用的测试集上大类Car的6个AP仅这两项的平均值，即mAP。所有结果在表格2之前所注意到。

表格2 关于直镜面损失惨直变量、微波点云统筹、后端到后端培训、观念假设和隐formula_的出现异常测试

自统筹与微波统筹极少一般来说自统筹修缮时，就可超越较好的的测试安均性（28.57），极少一般来说微波统筹则特性很输（18.84），二者都一般来说时可以超越最好的特性（31.21）。由此可知6显示，自统筹修缮的庞加莱并不是球体的正确地表格面，较难过也就是说，增另加微波点云统筹很强发放形状下述化时，减少过也就是说的作用。

鲁棒KL损失惨直通过比较smooth L1损失惨直（26.35），欧拉KL损失惨直（29.47），结合KL损失惨直（30.05），鲁棒KL损失惨直（31.21），可以辨别到安均性在大幅度进一步提低。其之前所小得多的进一步提低在smooth L1和欧拉KL损失惨直彼此间，这显示了偶然间假设的直要作用。

后端到后端培训本文之前所后端到后端PnP只作这两项，因此与这两项前所安均性过关斩将方面。对于欧拉KL损失惨直培训的结果（29.47），后端到后端培训略为进一步提低了清晰度（29.73）。对于鲁棒KL损失惨直培训的结果（31.21），后端到后端反而略为增高清晰度（31.09）。这说明鲁棒KL损失惨直比后端到后端PnP更是较难可用性网络服务。

隐formula_有隐formula_来得不能能会隐formula_明显进一步提低了的测试安均性（31.21 vs 29.78）。

由此可知5 的测试结果在由此可知像和鸟瞰由此可知之前所的可视化时。红色说明得出结论结果（及其一段相距的95%概率分布区），绿色、青色、深蓝色分别说明完都能见、大部分可见、严直遮蔽的真绝对值。

由此可知6 假设和3D修缮结果的可视化时。

5 结论

本文驳斥了一种一新颖的低安均性实用3D球体的测试支架——MonoRUn。为将人口众多关连性一新方法运用于相符公共交通故事情节之前所的3D球体的测试，本文一般来说自统筹直构和假设消除了样本集缺失庞加莱统筹的难题。同时，本文驳斥了鲁棒KL损失惨直变量，使假设深紧毗连著网络服务更是容易可用性。最后，本文探索了基于PnP假设扩散的概数万人3D球体定位，为鲁棒跟踪和得出结论等下游目标开发新了原先行或许。

本文译自：

《MonoRUn: Monocular 3D Object Detection by Reconstruction and Uncertainty Propagation》

文章是从：

IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2021.

译者：

Hansheng Chen, Yuyao Huang, Wei Tian, Zhong Gao, Lu Xiong

原文链毗连：

参见文献：

END

。

德州皮肤病医院哪家好
安顺皮肤病医院电话
重庆看白癜风哪家比较好
支气管炎咳嗽
整形美容
腹部疼
咳嗽黄痰可以喝太极急支糖浆吗
先诺欣