Autoren: Prof. Dr. Marianne von Schwerin, Daniel Klitzke, Hochschule Ulm<\/p>\n
In vielen industriellen Bereichen kommen Techniken der Bildverarbeitung zum Einsatz. H\u00e4ufig werden hierbei speziell auf die entsprechenden Bed\u00fcrfnisse zugeschnittene Hardware und eigens daf\u00fcr entwickelte Software eingesetzt. Mit der steigenden Leistungsf\u00e4higkeit von Smartphones k\u00f6nnen aber auch diese f\u00fcr Bildverarbeitungsaufgaben genutzt werden. Das Beispiel der Verkehrszeichenerkennung in einem autonom fahrenden Modellauto zeigt, dass Bildverarbeitung sehr gut mit einem g\u00e4ngigen Smartphone gel\u00f6st werden kann. Allerdings ist das auf einem Smartphone basierende System nicht echtzeitf\u00e4hig und die Hardware nicht auf Dauerbetrieb ausgelegt, so dass hier Zugest\u00e4ndnisse gemacht werden m\u00fcssen.<\/strong><\/p>\n Moderne Smartphones sind mit leistungsstarken Multi-Core-Prozessoren sowie Arbeitsspeicher von einigen Gigabytes ausgestattet. Sie k\u00f6nnen mit \u00fcberschaubarem Aufwand f\u00fcr Bildverarbeitungsaufgaben nutzbar gemacht werden und bieten dadurch vielseitige Einsatzm\u00f6glichkeiten im industriellen Betrieb. Zudem bieten sie auch zahlreiche Kommunikationsschnittstellen und k\u00f6nnen so in verteilten Systemen eingesetzt werden. Durch Akkubetrieb ist der Einsatz insbesondere in mobilen Systemen attraktiv, und die integrierten und zunehmend hochwertigen Kameras machen Smartphones auch f\u00fcr Bildverarbeitungsaufgaben interessant.<\/p>\n An der Hochschule Ulm wurde ein RC Car als ferngesteuertes, elektrisch angetriebenes Fahrzeug entwickelt (vgl. Abbildung 1,\u00a0PDF<\/a>), das autonom Fahrman\u00f6ver durchf\u00fchren kann. Es kann einer auf dem Boden aufgebrachten Spur folgen, zum anderen reagiert es durch Auswertung von Kamerabildern geeignet auf Verkehrsschilder und Ampeln.<\/p>\n Die Hauptsteuereinheit bildet ein Arm Cortex-M3 Mikrocontroller, der \u00fcber WLAN Steuerkommandos empf\u00e4ngt und die elektrischen Antriebsmotoren entsprechend ansteuert. An der Front des Fahrzeugs ist ein Smartphone vom Typ Google Nexus 5 angebracht, welches zum einen durch Auswertung von Bildern der internen Kamera einer Spur folgen kann und zum anderen die Bilder einer weiteren nach vorne gerichteten Kamera zur Erkennung von Verkehrszeichen bzw. Ampeln einsetzt. Die Ergebnisse dieser Auswertungen werden von der Software auf dem Bildverarbeitungs-Smartphone kombiniert und entsprechende Steuerkommandos an den Mikrocontroller gesendet.<\/p>\n Das im Beispiel eingesetzte Smartphone f\u00fcr die Bildverarbeitung ist ein Ger\u00e4t mit Android-Betriebssystem der Version 4.4.2. Es ist mit vier Kernen mit je 2,3 GHz Taktrate und 2 GB Arbeitsspeicher ausgestattet. Die bildverarbeitende Anwendung ist als Android-App in Java implementiert.<\/p>\n Da in einem System zur Objekterkennung, wie dem hier realisierten, eine Vielzahl an g\u00e4ngigen Bildverarbeitungsalgorithmen zum Einsatz kommt, wird auf eine leistungsf\u00e4hige Softwarebibliothek zur\u00fcckgegriffen. OpenCV ist eine Softwarebibliothek f\u00fcr Maschinelles Sehen sowie Maschinelles Lernen [1], die eine gro\u00dfe Anzahl an eben solchen Algorithmen enth\u00e4lt. OpenCV ist Open Source und steht unter der BSD-Lizenz [1]. Im Rahmen des vorgestellten Projekteswurde OpenCV in der Version 3.1 verwendet. Die Einbindung der Bibliothek erfolgt \u00fcber einen von OpenCV zur Verf\u00fcgung gestellten Java Wrapper. So kann OpenCV sehr einfach aus dem Java-Code der App heraus verwendet werden. Der Aufruf einer Java-Funktion des Wrappers f\u00fchrt zum Aufruf einer nativen, in C\/C++ implementierten Methode, in der die eigentliche Berechnung durchgef\u00fchrt wird, was gegen\u00fcber einer Implementierung in Java einen erheblichen Geschwindigkeitsvorteil bringt.<\/p>\n Im Folgenden wird die Erkennung eines Stoppschildes exemplarisch als Bildverarbeitungsaufgabe f\u00fcr ein autonomes Fahrzeug herausgegriffen. Die Erkennung eines Verkehrszeichens teilt sich in einen Detektionsschritt sowie einen Klassifikationsschritt. Bei der Detektion werden farbbasiert m\u00f6gliche Schilderkandidaten aus dem Kamerabild herausgefiltert. Bei der Klassifikation werden die erkannten Schilderkandidaten dann anhand ihrer Form validiert und ggf. einer Liste mit erkannten Verkehrszeichen hinzugef\u00fcgt (vgl. Abbildung 2,\u00a0PDF<\/a>).<\/p>\n Die einzelnen Schritte der Detektion bzw. Klassifikation werden nun unter Zuhilfenahme von OpenCV umgesetzt. F\u00fcr die farbbasierte Detektion wird das Bild (vgl. Abbildung 3,\u00a0PDF<\/a>) zun\u00e4chst in den HSV-Farbraum konvertiert, was eine intuitivere farbliche Filterung erm\u00f6glicht, da die Farbtoninformation von S\u00e4ttigung und Helligkeit getrennt im Hue-Kanal vorliegt. Die Farbraumkonvertierung erfolgt durch den Aufruf der OpenCV-Funktion\u00a0Imgproc.cvtColor.<\/span><\/p>\n Anschlie\u00dfend werden alle Pixel, welche in relevanten Farbbereichen liegen, durch einfaches Thresholding herausgefiltert. Auch hierbei kommt OpenCV mit der Filterfunktion\u00a0Imgproc.inRange<\/span>\u00a0zum Einsatz. Man erh\u00e4lt ein bin\u00e4res Bild, bei dem alle relevanten Pixel den Wert 255 (Wei\u00df) haben (vgl. Abbildung 4,\u00a0PDF<\/a>).<\/p>\n Basierend auf dem Bin\u00e4rbild werden nun einzelne Objekte aus dem Bild segmentiert. Hierzu wird das gesamte Bild durchlaufen und jeweils eine rechteckige Region auf die Anzahl ihrer relevanten Pixel \u00fcberpr\u00fcft. \u00dcberschreitet diese Anzahl einen bestimmten Wert, so wird das Rechteck als zu einem Objekt geh\u00f6rig markiert. Sich \u00fcberlappende Rechtecke werden zu gr\u00f6\u00dferen Regionen zusammengefasst (vgl. Abbildung 5,\u00a0PDF<\/a>). Um nicht jedes Mal die Farbwerte aller Pixel in einer Region zusammenz\u00e4hlen zu m\u00fcssen, wird die Operation auf ein zuvor mittels der OpenCV Funktion\u00a0Imgproc.integral<\/span>\u00a0berechnetes Integralbild ausgef\u00fchrt.<\/p>\n Die vorhergehend ermittelten Regionen, in denen sich aufgrund ihrer Farbgebung Verkehrsschilder befinden k\u00f6nnen, sollen nun klassifiziert werden, d.h. es soll gepr\u00fcft werden, ob sich in einem detektierten Ausschnitt tats\u00e4chlich ein Verkehrsschild befindet, und wenn ja, welches. Durchgef\u00fchrt wird die Klassifikation mittels einer Support Vector Machine (SVM) anhand sogenannter Histogram of Oriented Gradients (HOG) Features.<\/p>\n Bei einem Histogram of Oriented Gradients handelt es sich um einen Feature-Deskriptor, der im Bereich des maschinellen Sehens h\u00e4ufig zur formbasierten Objekterkennung eingesetzt wird. Er besteht aus Histogrammen, welche die Verteilung von Gradienten in einer bestimmten Bildregion repr\u00e4sentieren (vgl. Abbildung 6,\u00a0PDF<\/a>). Der Gradient ist in diesem Fall ein zweidimensionaler Vektor, der an jeder Pixel-Position in Richtung der st\u00e4rksten \u00c4nderung zeigt (vgl. Abbildung 7,\u00a0PDF<\/a>). Die Berechnung des Deskriptors ist einfach durch die Nutzung von OpenCV m\u00f6glich, so wird lediglich ein Objekt vom Typ HogDescriptor instanziiert und der Feature Vektor durch Aufruf der Methode\u00a0HogDescriptor.compute<\/span>\u00a0berechnet.<\/p>\n F\u00fcr die so berechneten Form-Features jedes Schilderkandidaten muss nun gepr\u00fcft werden, welcher Schilderklasse diese zugeordnet werden k\u00f6nnen. Eine Support Vector Machine ist ein Algorithmus f\u00fcr \u00fcberwachtes Lernen (engl. supervised learning), d.h. der Algorithmus erlernt aus einer Menge von Beispieldaten eine Funktion, die einer Eingabe eine bestimmte Ausgabe zuordnet [2]. Das bedeutet, dass die SVM anhand von Feature-Vektoren f\u00fcr eine gro\u00dfe Anzahl an bekannten Schildern und Negativbeispielen auf die jeweils passende Ausgabe trainiert wurde. Hier wurde nicht die SVM-Implementierung von OpenCV, sondern die Bibliothek libSVM verwendet, da der Java-Wrapper von OpenCV zum Zeitpunkt der Implementierung einen Fehler aufwies, welcher das Speichern und Laden eines trainierten SVM-Models verhinderte.<\/p>\n Das entwickelte System zeigt gute funktionale Eigenschaften, weist aber auch Einschr\u00e4nkungen auf. Positiv hervorzuheben ist die Vielzahl der in OpenCV verf\u00fcgbaren Algorithmen und deren hoher Optimierungsgrad, so dass eine gute Performance gew\u00e4hrleistet ist. Auch die im vorgestellten Projekt erfolgte Einbindung \u00fcber einen Java-Wrapper gestaltete sich weitestgehend problemlos. Leider ist dieser Java-Wrapper kaum dokumentiert, d.h. es finden sich in der offiziellen Dokumentation nur wenige grundlegende Beispiele zu dessen Verwendung.<\/p>\n Je mehr und algorithmisch anspruchsvollere Bildverarbeitung betrieben wird, desto st\u00e4rker wird die Performance des Gesamtsystems beeinflusst. Wird statt Java ausschlie\u00dflich nativer Code in C oder C++ im bildverarbeitenden Teil der Anwendung genutzt, so kann die Performance deutlich verbessert werden, wie auch Tests im vorgestellten System zeigen. Dieses ist ohne weiteres m\u00f6glich, indem man OpenCV nicht \u00fcber den Java-Wrapper sondern als native Bibliothek einbindet (siehe [3]). Sollten performancekritische Funktionalit\u00e4ten teilweise dennoch in Java implementiert sein, so lohnt sich ein Blick auf die Performance-Tipps der Android Developers Dokumentation unter [4] bzw. auf die Best Practices for Performance [5].<\/p>\n Ein generelles Problem ist der Einsatz von Android-Smartphones in Echtzeitsystemen. F\u00fcr harte Echtzeitanforderungen eignet sich eine derartige L\u00f6sung nicht, da die Bestimmung einer maximalen Laufzeit f\u00fcr bestimmte Aufgaben meist nicht m\u00f6glich ist. Ein Beispiel hierf\u00fcr ist der nicht deterministische Garbage Collector. Abhilfe k\u00f6nnte hier eine echtzeitf\u00e4hige Android-Version wie das an der RWTH Aachen entwickelte RTAndroid schaffen [6]. Doch auch hiermit bleiben weitere Echtzeitprobleme im Gesamtsystem bestehen, wie z.B. die nicht vorhersagbare \u00dcbertragungszeit von Daten \u00fcber WLAN.<\/p>\n Beim Einsatz eines Smartphones f\u00fcr die Bildverarbeitung ist auf die Auslastung des Arbeitsspeichers zu achten, denn eine \u00dcberschreitung der maximalen Heap-Gr\u00f6\u00dfe der Laufzeitumgebung f\u00fchrt zum Absturz der App. Diese maximale Heap-Gr\u00f6\u00dfe variiert je nach Smartphone und wird vom Hersteller festgelegt. Standardm\u00e4\u00dfig definiert der sogenannte heapgrowthlimit-Wert die maximale Heap-Gr\u00f6\u00dfe. Das Limit kann durch das Setzen des Flags\u00a0android:largeHeap<\/span>\u00a0im Manifest der Android-App erh\u00f6ht werden. In diesem Fall definiert der heapsize-Wert die Grenze f\u00fcr die Heap-Gr\u00f6\u00dfe. Die Werte werden vom Hersteller in der build.prop Datei definiert und k\u00f6nnen ver\u00e4ndert werden, sofern man Root-Rechte besitzt.<\/p>\n Die Performance des Systems unterliegt auch Faktoren, auf die der Programmierer keinen Einfluss hat. So zeigte sich in Tests, dass das eingesetzte Smartphone die maximale Taktfrequenz der Prozessorkerne bei \u00dcberschreitung einer kritischen Temperatur deutlich herabsetzt und die Verarbeitungsrate so von 10,5 auf 5,8 Frames pro Sekunde absinkt. Im Falle des Google Nexus 5 wird die CPU-Frequenz ab einer Temperatur von 42 Grad von 2300MHz auf 1570MHz und ab 44 Grad auf 1190MHz gedrosselt. Diese Werte sind in der Datei thermal-engine.conf definiert. Auch weitere Faktoren, wie z.B. die Aktivierung des Energiesparmodus bei niedrigem Akku-Stand oder die Aktivit\u00e4ten anderer im Hintergrund aktiver Apps, beeinflussen die Leistungsf\u00e4higkeit des Smartphones (siehe Abbildung 8,\u00a0PDF<\/a>).<\/p>\n Moderne Smartphones sind eine interessante Plattform f\u00fcr die Realisierung eines bildverarbeitenden Systems, da Android-Versionen moderner Bibliotheken wie OpenCV verf\u00fcgbar sind. Die Realisierung von Systemen, die harten Echtzeitanforderungen gen\u00fcgen m\u00fcssen, ist jedoch eingeschr\u00e4nkt, da die Laufzeitumgebung nicht echtzeitf\u00e4hig ist. Auch zeigt sich, dass die Smartphone-Hardware im Falle einer dauerhaften hohen Prozessorauslastung temperaturbedingt nicht gewachsen ist und die Prozessortaktfrequenz bereits nach kurzer Zeit erheblich gedrosselt wurde.<\/p>\n Trotzdem stellen Smartphones aber eine interessante, leistungsf\u00e4hige und preisg\u00fcnstige Plattform f\u00fcr die Realisierung bildverarbeitender Systeme dar.<\/p>\nEinleitung<\/h2>\n
Anwendungsbeispiel<\/h2>\n
Realisierung des Verkehrszeichenerkennung<\/h2>\n
Ergebnis<\/h2>\n
Schlussfolgerung<\/h2>\n
Literatur<\/h2>\n