Computer Vision im Verkehr
Sicherheit beim autonomen Fahren mit FPGA-Technologie
![](../Binaries/Binary37518/05-gp-forschung-fpga-cv-kiefer-bild-1.png)
Projektbeschreibung
Die Hochschule Augsburg befasst sich am Institut HSA_ired intensiv mit Forschungsfragen zu effizienten eingebetteten Systemen und zum autonomen Fahren. Sei es, dass autonome Rennwagen von Studierenden entwickelt werden oder eng mit der Industrie an zukunftsweisenden Technologien gearbeitet wird.
Ein Hauptaugenmerk beim autonomen Fahren liegt auf der Verbesserung der Sicherheit von selbstfahrenden Autos. Ein Schlüsselelement hierfür ist eine schnelle Sensor-Datenverarbeitung durch Hardwarebeschleunigung mit FPGA-Technologie. Deshalb werden Kamerasysteme entwickelt, welche in Echtzeit Objekte und die Fahrbahn erkennen.
Trendwende in der Computertechnologie
Über viele Jahre hinweg haben wir uns daran gewöhnt, dass Standard-Prozessoren, wie sie in PCs, Smartphones oder eingebetteten Systemen zum Einsatz kommen, bei gleichbleibenden oder gar sinkenden Kosten immer leistungsfähiger geworden sind. So ist in den 1990er Jahren die Taktfrequenz von typischen PC-Prozessoren von wenigen MHz (z. B. 25 MHz bei einem Intel i386, 1990) bis auf über 1 GHz (z. B. 1,5 GHz bei einem Pentium 4, 2000) angestiegen. Eine ähnliche Entwicklung war in der jüngeren Vergangenheit im Bereich der mobilen Prozessoren und eingebetteten Systeme zu sehen.
Dieser Trend der quasi „automatisch“ immer performanter werdenden Hardware gilt in Zukunft jedoch so nicht mehr, denn das Leistungspotential von Standard-Prozessoren ist heute weitgehend ausgeschöpft.
Zukunftsfähige eingebettete Systeme für hohe Leistungsanforderungen, wie sie unter anderem in autonomen Fahrzeugen benötigt werden, können deshalb nicht alleine auf Basis von Standard-Prozessoren realisiert werden. Sie benötigen Spezialhardware, die zum Beispiel mit Hilfe von FPGA-Technologie („Field-Programmable Gate Arrays“) realisiert werden kann.
Mit der Hardwarebeschleunigung durch FPGA-Technologie befasst sich an der Hochschule Augsburg die Arbeitsgruppe Effiziente Eingebettete Systeme (EES) am Institut für ressourceneffiziente Datenübertragung und -verarbeitung seit über zehn Jahren.
Sicherheit beim autonomen Fahren
Eine vielversprechende Zukunft steht uns mit autonomen Fahrzeugen bevor. So können Menschen mit Handicaps sicher an ihr Ziel kommen oder es lassen sich Unfälle durch Unaufmerksamkeit oder Übermüdung verringern. Aber auch neue Aspekte, ob man überhaupt ein eigenes Auto benötigt oder eines nur bei Bedarf ruft, kommen ins Spiel.
Doch eines muss immer an erster Stelle stehen: „Sicherheit geht vor“. Aus diesem Grund wird an der Hochschule Augsburg intensiv an „Sicherheit durch Datenfusion“ geforscht. Es wird der Ansatz verfolgt, mehrere Sensoren und Informationsquellen für die Wahrnehmung zu verwenden, diese Daten zu fusionieren und die Ergebnisse zu plausibilisieren.
Ein wichtiges Forschungsgebiet ist die Verarbeitung von Kameradaten. Optische Sensoren bieten ein breites Anwendungsspektrum, benötigen jedoch sehr komplexe Algorithmen.
Objekterkennung mit FPGA-Beschleunigung
Für die Erkennung von Objekten und Fahrbahn bei „Formula Student Driverless“-Rennen wurde ein System entwickelt, welches die rechenintensive Bildverarbeitung in der FPGA-Logik und die Nachverarbeitung der Daten in Software durchführt.
Für die Erkennung wird das Verfahren der Hough-Transformation verwendet. Dieses gilt als sehr robust, aber auch als sehr rechenaufwendig. Durch die an der Hochschule Augsburg entwickelte Spezialhardware konnte dieser Prozess erheblich beschleunigt werden, sodass die eigentliche Objektsuche nur noch wenige Millisekunden benötigt. Softwareseitig werden die Erkennungen plausibilisiert und aus der Kamera-Perspektive für den Aufbau einer Karte transformiert. Die letztendliche Gesamtverarbeitung ist damit schneller als die Bildaufnahme einer gängigen 30-FPS-Kamera!
Im Vergleich zu GPU-Lösungen, die ebenfalls häufig für die Bildverarbeitung eingesetzt werden, bietet der FPGA die entscheidenden Vorteile bezüglich Energieverbrauch und der individuellen Gestaltung der System-Architektur. Die hohe Effizienz der Spezialhardware und das lückenlose Zusammenspiel von Software und Hardware qualifizierte das System zur Vorstellung eines Papers auf einer internationalen IEEE Konferenz.
Das System kam in einem elektrischen Rennwagen zum Einsatz, der selbstständig fahren kann. Durch die schnelle Datenverarbeitung erzielte das Augsburger Formula Student Team den ersten Platz auf der Rennstrecke in Silverstone, UK. Auf dem Hockenheimring wurde sogar ein neuer Weltrekord in der Disziplin des Beschleunigungsrennens aufgestellt.
Fazit
Die Forschungsaktivitäten rund um das automatisierte Fahren und die effizienten eingebetteten Systeme vertieft die Zusammenarbeit zwischen den verschiedenen Fakultäten der Hochschule Augsburg und stärkt die Zusammenarbeit mit externen Partnern aus Industrie und Forschung. Den Studierenden wird eine Gelegenheit geboten, durch praktische Erprobung an Forschungsfahrzeugen die Technologietrends von morgen zu erforschen.
Beteiligte Personen
Projektleitung
Prof. Dr.-Ing. Gundolf Kiefer
Fakultät für Informatik
HSA_ired
Arbeitsgruppe Effiziente Eingebettete Systeme (EES)
[Bitte aktivieren Sie Javascript]
Weitere Beteiligte
Prof. Dr.-Ing. Carsten Markgraf
Fakultät für Elektrotechnik
Prof. Dr. Florian Kerber
Fakultät für Elektrotechnik
Christian Scheglmann (B.Eng.)
Fakultät für Informatik
Partner
Fraunhofer IGD, Rostock Siemens, München Intel, München Infi neon, München TU München Continental, Frankfurt BMW, München
Förderung/Laufzeit
HSA_Projektbudget 2017/18
ChASA: BMWi
KoRA9: BMWi
![Spezialhardware für die Bildverarbeitung Spezialhardware für die Bildverarbeitung](../Binaries/Binary37534/05-gp-forschung-fpga-cv-kiefer-bild-2.jpg)
![Aufbau des Bildverarbeitungssystems innerhalb eines heterogenen FPGA-Bausteins Aufbau des Bildverarbeitungssystems innerhalb eines heterogenen FPGA-Bausteins](../Binaries/Binary37535/05-gp-forschung-fpga-cv-kiefer-bild-3.png)
![Der autonome Rennwagen der Hochschule Augsburg Der autonome Rennwagen der Hochschule Augsburg](../Binaries/Binary37536/05-gp-forschung-fpga-cv-kiefer-bild-4.jpg)