干货系列

激光雷达小课堂 | 如何使用 Livox 激光雷达点云中的 Tag 信息

2022-01-21

从激光雷达底层信息出发,Livox 在雷达输出的点云数据中内置标识点云多回波及噪点信息数据的Tag 信息,帮助用户更高效地应对点云噪声

在激光雷达应用场景中,雨雾和灰尘是常见的噪声来源。而噪声在一定程度上会影响算法的效果:如产生目标物等,因此我们需要根据实际 情况对点云噪声进行滤除。基于这种情况,Livox 从雷达底层信息出发,在雷达输出的点云数据中内置标识点云多回波及噪点信息数据的 Tag信息,帮助用户更高效地应对点云噪声。

 

I. 标记(Tag)是什么?

 

Tag 是激光雷达点云数据里指示多回波信息及噪点信息的数据。我们将Tag 信息的格式进行如下定义:
 
 

II. Tag 包含什么信息?

 

每个Tag信息都由1字节组成,并将该字节中包含的信息进行了分组:

第一组:bit7和bit6

第二组:bit5和bit4

第三组:bit3和bit2

第四组:bit1和bit0

 

其中,Tag 信息中第二组表示的是该采样点的回波次序。

 

由于Livox 激光雷达采用同轴光路,即使外部无被测物体,其内部的光学系统也会产生一个回波,该回波记为第0个回波。随后,若激光出射方向存在可被探测的物体, 则最先返回系统的激光回波记为第1个回波,随后为第2个回波,以此类推。如果被探测物体距离过近(不同产品有差异,对Horizon来说例如1.5m),第1个回波将会与雷达内部的第0个回波叠加、融合成为一个波形,该回波会被记为第0个回波。

 

当雷达处于单回波模式,则回波序号仅有00、01两种状态,表示该点云是由第0、1个回波信息计算得到;若处于多回波模式,则回波序号存在00、01、10、11四种可能,表示该点云信息分别是第0、1、2、3个回波信息计算得到。回波序号是接收器接收到脉冲信号的编号,不能等价于激光打在物体上的顺序。因此,tag第二组的回波信息一般不能直接应用于噪声去除,用户可以根据应用情况将其作为辅助信息应用到去噪算法中。

 

那么,怎么使用Tag 里的第三组和第四组回波信息来处理点云噪点问题呢?

 

III. 用 Tag 处理灰尘雨雾噪点 

 

 

针对灰尘雨雾噪点的情况,可以使用Tag 的第三组信息(即bit3和bit2,第三组信息是基于回波能量强度来判断采样点是否为噪点的),来判断当前点是灰尘、雨雾还是正常点。

 

其中噪点置信度由高到低分为三档:11、10和01。噪点置信度越低,回波能量越强,说明该点是噪点的可能性越低。通常情况下,激光光束受到类似灰尘、雨雾、雪等干扰产生的噪点的回波能量很小。据此,我们按照回波能量强度大小将噪点置信度分为二档:

01表示回波能量很弱,这类采样点有较高概率为噪点,例如灰尘点;

10表示回波能量中等,该类采样点有中等概率为噪点,例如雨雾噪点。

备注:上图颜色使用tag标记,非反射率着色

 

虽然Tag可以作为辨别灰尘和雨雾噪点的重要信息,但仅依靠Tag来辨别,个别复杂场景下仍会存在少量误过滤、欠过滤的情况。以如下场景为例进行说明。

 

实际场景:中到大雨,大楼窗外。

根据Tag第三组信息,可正确标记灰尘点为绿色,雨雾点为红色。

 

实际场景:中到大雨,路面前方车辆溅起的水花。

其中标记灰尘点为绿色,雨雾点为红色。但从图中可以看到地面上有被误识别为灰尘和雨雾的点。此类情况则需结合其他点云空间特征做更好的滤除。

 

实际场景:中到大雨,十字路口。

其中标记灰尘点为绿色,雨雾为红色,也存在上图同样的情况。

 

IV. 用 Tag 处理空间拉丝噪点 

 

如果光斑同时打在前后不同深度的物体上时,出现深度计算不准确就会导致空间拉丝噪点的产生。

 

遇到这种情况时,Tag的第四组时基于采样点空间位置来判断是否为噪点的,适合拉丝等噪点的滤除。以下图天花板扫描的点云为例。可以看出吊灯边缘存在大量的拉丝,这就是因为光斑一部分打在吊灯上,而另一部分打到其后的天花板上导致深度计算不准确引起的。

 

 

实际场景图片 VS 点云  (由于相机FOV 限制,图像角度与点云稍有差异)

 

根据Tag第四组的值,按照不同置信度进行过滤之后,效果如下图所示。

过滤置信度为01的点云

进一步过滤置信度为10的点云

进一步过滤置信度为11的点云

以上场景可以看出通过Tag进行逐步过滤后,效果非常明显。

 

V. 用 Tag 处理阳光噪点

 

针对阳光噪点,首先Livox 激光雷达内部会探测环境光强度。当环境光强度过大时,对应的点云坐标会被置为0(即被过滤掉)。但如需算法上进行进一步处理,可以考虑使用阳光噪点处的如局部无明显结构特征、点云纵深变化比较大等特点,将阳光噪点筛选出来并加以滤除。

 

如下图所示,右图用黄色标记出了阳光噪点(在未滤噪的情况下,雷达内部首先会判断为阳光噪点并将其点云深度坐标值置为0,从而达到滤除的目的)。同时,Livox Horizon及HAP 等产品也陆续导入了阳光噪点自动滤除功能。

 

* 备注:激光雷达位于大楼前方;其中右图点云为俯视图,蓝色点云对应左图墙体

 

但众所周知,激光雷达的实际应用场景通常更为复杂。虽然Tag 提供了丰富的标识信息,但有时仅依靠Tag也会存在少量过滤不干净的情况。这种情况下则可结合其他点云空间特征做更好的滤除,从而更精准地获得实际场景的点云图。