Abstract und Zusammenfassung zu
"Depth Estimation of Objects using Infrared and Visible Cameras for Autonomous Driving"

Achtung: der Text ist aus der Master/Diplomarbeit entnommen. Jeder Kandidat ist für seinen eigenen Text verantwortlich!

Zusammenfassung

"Die Einschätzung der Tiefe ist eine der wichtigsten Herausforderung, die für die Umgebungs- wahrnehmung beim autonomen Fahren bewältigt werden muss. Eine der Tücken der Objek- terkennung mit Kameras besteht darin, dass die Tiefeninformation bei der perspektivischen Projektion verloren geht, so dass ein weiterer Sensor zur Berechnung der Tiefe erforderlich ist. Traditionell werden die beiden CMOS-Sensoren zu diesem Zweck in einer Stereokombina- tion verwendet. Die Bedeutung des LWIR-Sensors hat jedoch in der Forschung exponentiell zugenommen, da er in einem Spektralband von 8-14µm arbeitet und unabhängig von sicht- barem Licht funktioniert. Dadurch kann dieser auch in Grenzsituationen wie Regen, Nebel, Schnee usw. eingesetzt werden. In dieser Arbeit nutzen wir daher sowohl visuelle als auch thermische Sensoren, um eine Tiefenschätzung durchzuführen. Nach der zeitlichen Synchro- nisation werden die RGB- und IR-Kameras in einem Stereo-Vision-Setup sowohl intrinsisch als auch extrinsisch kalibriert, wobei eine selbstgebaute Kalibrierungstafel mit LED-Dioden ver- wendet wird. Da die Kameras zwei verschiedene Wellenlängen haben und der klassische Algo- rithmus beim Feature-Matching versagt, wird einer der hochmodernsten Objekterkennungsal- gorithmen zur Lokalisierung der Zielobjekte eingesetzt. Dieser ermittelt dann die Pixeldispar- ität, um die Tiefe des Zielobjekts zu bestimmen. Abschließend erreichte der Algorithmus eine gute Schätzung der Tiefe mit einem Fehler von RMSE 4,56% bis zu einer Entfernung von 42m."

Abstract

"Depth Estimation is one of the critical challenges that need to be tackled for environmental per- ception in autonomous driving. One of the pitfalls of object detection using cameras is that the depth information is lost in the perspective projection, thereby demanding another sensor to be added to triangulate the depth. Traditionally, the two Complementary Metal Oxide Semicon- ductor (CMOS) sensors are used as a combo in a stereo setup for that purpose. However, the importance of Long Wave Infrared (LWIR) sensor grew exponentially in the research area, as it operates in the 8-14µm spectral band and functions independent of visible light, thus closing the edge-case scenarios like rain, fog, and snow. Therefore, in this thesis, we exploit both vi- sual and thermal perception units to perform depth estimation. After temporal synchronization, RGB and IR cameras in a setup of stereo vision are calibrated both intrinsically and extrinsi- cally using an in-house built calibration board with Light Emitting Diode (LED) diodes. As the cameras are of two different wavelengths, where the classical algorithm pipeline fails at feature matching, the state-of-the-art object detection algorithm is employed to localize the target ob- jects. It is then used to find the pixel disparity, which is further exploited to find the depth of the targeted object. This algorithm achieves a reasonable estimation of depth with an error of Root Mean Square Error (RMSE) 4.56% up to the distance of 42m."