F&E Projekt HOBA
1. Einführung
Das F & E-Projekt „Homogenbereichsassistent zur automatischen, baustellenspezifischen Erfassung von Bodenklassen nach der neuen VOB 2016 HO-BA)“, kurz HO-BA, befasst sich mit der Entwicklung eines Systems zur automatischen Klassifizierung, Segmentierung und 3D-Georeferenzierung als Voxel-Volumenmodell von Bodentypen nach dem neuen VOB 2016. HOBA wird vom Bundesministerium für Wirtschaft und Energie (BMWI) bis 01/2023 als sogenanntes ZIM (Zentrales Innovationsprogramm Mittelstand) Forschungs- und Entwicklungsprojekt finanziert.
HOBA ist am Institut für Angewandte Forschung (IAF) des Zentrums für Angewandte Forschung (CAR) der Fachhochschule Karlsruhe (HKA) angesiedelt. Die Forschungen und Entwicklungen (FuE) erfolgen im Labor für GNSS & Navigation (goca.info/Labor.GNSS.und.Navigation) in Zusammenarbeit mit dem Hauptindustriepartner MTS Schrode AG (www.mts-online.de ) sowie deren Partner VEMCON GmbH (https://www.vemcon.de/).
Abbilung 1: Bagger mit verteilten MTS-Sensoren und HOBA-Box im Bereich der Baggerschaufel
Das Ziel der Forschungen und Entwicklungen an der HKA ist die Entwicklung der Hardware und Software einer kompakten Sensor- und Computersystemeinheit, die mit Datenschnittstellen zur Bagger-IT im Bereich der Baggerschaufel montiert ist - im Folgenden als "HKA HOBA-Box" bezeichnet.
Die Hardware- und Softwareentwicklung der HKA HOBA-Box leistet einen innovativen Beitrag zur BIM-konformen digitalen Echtzeitdokumentation von Aushubarbeiten im Tiefbau. Als Ergebnis der HKA HOBA-Box resultiert dabei eine auf Basis von GNSS/-MEMS/RGB/ToF3D-Kameraoptik Multisensorik erfolgende 3D-Georeferenzierung des Aushubs im ETRF89/ITRF in Verbindung mit der sensorgestützten Erfassung und Berechnung eines sogenannten "Voxel"-basierten 3D-Volumenmodells des Aushubkörpers. Die HKA HOBA-Box leistet die Klassifizierung der Bodentypen des Geländes unter Verwendung bildbasierter KI/ML-Algorithmen und errechnet über den u.g. Navigationszustandsvektors y(t) die Zuweisung der nach Bodentypen klassifizierten und georeferenzierten 2D-Bilder auf die Voxelelemente des 3D-Volumeenmodells.
Die vollständigen Georeferenzierungsschritte der Box basieren auf der algorithmischen Fusion sowie SLAM aller internen Sensordaten der HKA HOBA-Box (IMU, Magnetometer, Barometer, Neigungsmesser, GNSS, ToF3D-Kamera und RGB-Kamera) im allgemeinen NAVKA-Multisensor-Multiplattform-Leverarm-Design. Alle Sensordaten tragen zur Berechnung einer Bayes'schen Sensorfusion zugunsten des Navigationszustandsvektors
bei. Im Falle von SLAM (Simultaneous Localization and Mapping) zugunsten eines Fusions- und Zustandsvektors y(t)SLAM=(y(t),m(t)). Die Erweiterung von y(t) um m(t) umfasst die aus der Datenbasis der optischen Sensordaten der ToF sowie der digitalen RGB-Kamera in der Zustandsschätzung bzw. SLAM generierte 3D-Karte.
Bei der autarken Boxvariante 1 der HKA HOBA-Box (Abb. 1, Abb. 2) werden ausschließlich die Daten der Sensoren der HKA HOBA-Box zur Sensorfusion und SLAM zur Berechnung von y(t) und y(t)SLAM=(y(t),m(t)) auf der Box verwendet. Bei der Boxvariante 2 werden y(t) und y(t)SLAM=(y(t),m(t)) erneut mit den Daten aller Sensoren - mit Ausnahme der GNSS-Daten - auf der HKA HOBA-Box berechnet. Der Grund ist die ungünstige Platzierung von GNSS am Ort der Box, nämlich in der Nähe der Schaufel, im Hinblick auf Signalabschirmungen und Mehrwegeeffekte. Stattdessen verwenden die Sensorfusion und SLAM in der Boxvariante 2 die MTS-Navigationsteillösung y(t)'=(xe ye ze )', die über den lokalen Maschinenserver bereitgestellt wird (siehe lokaler Maschinenserver, Abb. 2).
Die HKA HOBA-Box ermöglicht - in beiden Varianten auf multisensorischer (GNSS/MEMS/RGB/ToF-3D-Kameraoptik) Datenbasis - die 3D-Georeferenzierung des Aushubs im ETRF89/ITRF als ein nach Bodenarten in "Voxeln" klassifiziertes 3D-Volumenmodells.
2. Hardware-Entwicklungen
Die zentrale Recheneinheit der HKA HOBA-Box (Abb. 2) besteht aus einem NVIDIA Jetson TX2 Rechner, der über eine NVIDIA Pascal-GPU mit 256 Kernen, einen 64-Bit-ARMv8 64-Bit-CPU-Komplex mit Hex-Kern und einen 8-GB-LPDDR4-Speicher mit 128-Bit-Schnittstelle verfügt. Die CPU besteht aus einer 2-Denver 64-bit CPU in Verbindung mit einer Quad-Core A57 Komponente.
Die internen Sensoren der HKA HOBA-Box Variante 1 umfassen ein ZED F9 GNSS, eine kompakte ICM 20948 MEMS-Sensoreinheit (3-Achs-Gyroskop, 3-Achs-Magnetometer und 3-Achs-Beschleunigungsmesser), ein MS5611 MEMS-Barometer und einen SCL3300-Neigungsmesser. Die HKA HOBA-Box Variante 2 verwendet die von MTS aus dem Corpus der Aushubmaschine (Abb. 1) installiertem beiden GNSS (Abb. 1) sowie den Daten der Neigungsmesser auf der Aushubmaschine (Abb. 1) unter Verwendung der Denavit-Hartenberg-Transformation ermittelten Position des Body- (b) bzw. Box-Koordinatenursprungs y(t)'= (xe ye ze)'.
Abbildung 2: Design der HKA HOBA-Box sowie Datenkommunikation auf der Aushubmaschine
Als Sicherungslaufwerk für die Datensicherung über definierte Schwellenwerte und / oder eine definierte Sicherungsrate (z. B. stündlich) wird eine WD Red SA500 NAS SATA SSD 1 TB Festplatte verwendet. Die LUCID Helios-2 TOF mit integriertem RBG IP67-Kit (Triton 3.2MP) wird als optische Komponente der HKA HOBA-Box umfasst zusätzlich eine Digitalkamera des LU-CID Helios-2 TOF, die neben der ML/KI-basierten Klassifizierung auch die Texturierung der erzeugten Punktwolken leisten kann.
Die Prototyp-Box (Abb. 3) ist als vollständiges System für die laufenden Algorithmenentwicklungen zur Navigation/SLAM, Bildverarbeitung, Voxelmodell-Ermittlung und Georeferenzierung sowie die damit einhergehenden Softwareentwicklungen eingerichtet, während die endgültige kompakt-smarte Box ebenfalls in der Entwicklung ist.
Abbildung 3: Prototyp-Box für Systemalgorithmen und Softwareentwicklung 1.) ToF, 2.) Backup-Laufwerk, 3.) Zusätzliche Giga-Ethernet-Ports, 4.) Digitalkamera-MIPI-CSI, 5.) Zusätzliche Pins für CAN und andere Funktionen
3. Algorithmen und Softwareentwicklungen
Das beschriebene Hardware-Design (Abb. 2) und die Prototyp-Box bilden die Basis für die Algorithmen und Software-Implementierungen zur HKA HOBA-Box (Abb. 4). Alle Berechnungen werden zentral auf der HKA HOBA-Box bzw. dem NVIDIA Jetson TX2-Computer durchgeführt.
Das Betriebssystem der HOBA-Box ist Linux 18.04 LTS "Bionic Beaver" mit ROS Distribution (Robot Operating System-Melodic). Das HOBA-System verfügt nach Entwicklungstand bereits über eine Python und C/C ++ basierte Deep Learning Komponente unter Installation aller notwendigen Abhängigkeiten. Erste experimentelle Tests mit der Softwarekomponenten TF1.x und PyTorch wurden erfolgreich zur Bilderkennung, -Klassifizierung, und -Segmentierung unter Verwendung von Transferlernen mit verschiedenen vorab trainierten Modellen durchgeführt, z. B. ReNet, FCN-ReNet, SSD-Mobilenet, Inception V3 usw.
