公司动态
185、车载环视拼接的“鬼影“根因——不同sensor的曝光时间差异导致的运动物体错位,以及基于光流的缝合线动态调整
185、车载环视拼接的"鬼影"根因——不同sensor的曝光时间差异导致的运动物体错位,以及基于光流的缝合线动态调整凌晨一点半,客户那边传过来一段环视拼接的实车视频,车库里一辆黑色SUV缓缓倒出车位,车尾右侧的拼接缝位置,那辆车的后轮像是被撕开了一道口子,轮毂边缘拖着一串半透明的残影,像极了老照片里的重曝光。我盯着屏幕看了三遍,确认不是压缩伪影,是典型的运动物体跨sensor拼接错位。群里有人第一反应是"缝合线没对准",有人说是"标定板没擦干净",还有人直接甩锅给ISP的降噪强度。我让他们先把视频逐帧拆开,把四路sensor的原始时间戳打出来,再对比一下每帧的曝光时长——问题基本就浮出水面了。先说结论:这种"鬼影"不是缝合线算法本身的问题,是四颗sensor的曝光时间不一致,导致同一物理时刻,不同sensor捕捉到的运动物体处于不同的空间位置。环视拼接的输入是四路鱼眼图,每路sensor独立曝光,曝光时长由各自的AE(自动曝光)策略决定。当场景里有运动物体,比如行人、车辆、甚至摆动的树枝,如果sensor A的曝光起始时刻是t0,曝光时长是20ms,sensor B的曝光起始时刻是t0+5ms,曝光时长是30ms,那么这两路图像里同一个运动物体,在各自图像坐标系里的位置就差了整整一段位移。拼接算法把四路图像投影到俯视图,再通过缝合线找重叠区域的最优切割路径,它压根不知道运动物体在每路图像里的位置差异是曝光时间差造成的,它只看到两路图像在重叠区里同一个物体出现了两个位置,于是缝合线会试图在两者之间找一条"代价最小"的路径——结果就是要么把物体切成两半,要么在物体边缘留下一圈半透明的残影。我让团队把四路sensor的曝光时间日志拉出来,果不其然,前视sensor在暗光