Automatic On-Line Calibration and Calibration Monitoring of Cameras and Lidars

Abstract

Název: Automatická on-line kalibrace a monitorovánı́ kalibrace páru kamera- lidar Autor: Jaroslav Moravec Katedra: Katedra softwaru a výuky informatiky Školitel: doc. RNDr. Elena Šikudová, Ph.D., Katedra softwaru a výuky infor- matiky Abstrakt: Kamery a LiDARy jsou důležitá zařı́zenı́ automobilového průmyslu, jelikož jejich kombinace poskytuje užitečné informace (souřadnice bodu v pros- toru a jeho barvu a intenzitu) pro percepci, lokalizaci, mapovánı́ a predikci. Pro úspěšnou kombinaci dat z vı́ce zdrojů a jejı́ interpretaci je potřeba znát přesnou kalibraci vnitřnı́ch parametrů a relativnı́ pozice všech senzorů. V této práci se budeme zabývat třemi kalibračnı́mi metodami na reálných scénách. Naše řešenı́je založeno na robustnı́ věrohodnostnı́ funkci konstruované nad reprojekčnı́ chybou LiDARových hran vůči hranám v obrazu. Když se kalibrace měnı́ v čase, navrho- vaná online rekalibračnı́ procedura je schopna sledovat všechny vnějšı́ parametry s průměrnou chybou 0.13◦ v rotaci a 4 cm v translaci. Na základě této rekali- bračnı́metody jsme dále schopni monitorovat kalibraci a detekovat náhlou změnu v řádu sekund. V neposlednı́ řadě jsme ukázali automatickou kalibraci, která dokáže odhadnout jak vnějšı́ parametry kalibrace, tak ty...

Title: Automatic On-Line Calibration and Calibration Monitoring of Cameras and Lidars Author: Jaroslav Moravec Department: Department of Software and Computer Science Education Supervisor: doc. RNDr. Elena Šikudová, Ph.D., Department of Software and Computer Science Education Abstract: Cameras and LiDARs are important devices in the automotive indus- try as their combination provides useful information (3D coordinates of a point, its colour and intensity) for perception, localization, mapping and prediction. Successful data fusion and interpretation requires accurate calibration of intrin- sic parameters of the sensors and their 6D relative pose. In this thesis, we present a target-less calibration method on three different calibration tasks. The solu- tion is based on a robust likelihood function constructed over the reprojection error of LiDAR edges relative to image edges. When the calibration slowly wears off, our online recalibration procedure can jointly follow the extrinsic calibration drift with an average error of 0.13◦ in rotation and 4 cm in translation. Based on this recalibration tool, we are also able to monitor the calibration and detect an abrupt decalibration in a couple of seconds. And we also present a fully automatic calibration routine that estimates both the extrinsic and intrinsic...