Was ist Objekterkennung?

Die Objekterkennung ist eine Aufgabe von Computer Vision, die darauf abzielt, Objekte in digitalen Bildern zu lokalisieren. Als solche ist sie ein Beispiel für künstliche Intelligenz, bei der Computer darauf trainiert werden, wie Menschen zu sehen, insbesondere durch Erkennen und Klassifizieren von Objekten nach semantischen Kategorien.¹ Die Objektlokalisierung ist eine Technik zur Bestimmung der Position bestimmter Objekte in einem Bild durch Abgrenzung des Objekts durch einen Begrenzungsrahmen. Die Objektklassifizierung ist eine weitere Technik, mit der bestimmt wird, zu welcher Kategorie ein erkanntes Objekt gehört. Die Aufgabe der Objekterkennung kombiniert Teilaufgaben der Objektlokalisierung und -klassifizierung, um gleichzeitig den Standort und die Art von Objektinstanzen in einem oder mehreren Bildern zu schätzen.²

Die Objekterkennung überschneidet sich mit anderen Verfahren von Computer Vision, wird von Entwicklern jedoch als eigenständiges Unterfangen behandelt.

Die Bildklassifizierung (oder Bilderkennung) zielt darauf ab, Bilder nach definierten Kategorien zu klassifizieren. Ein einfaches Beispiel hierfür sind CAPTCHA-Bildtests, bei denen eine Gruppe von Bildern als Bilder mit Stoppschildern und als Bilder ohne Stoppschilder organisiert werden kann. Bei der Bildklassifizierung wird einem ganzen Bild ein Etikett zugewiesen.

Die Objekterkennung hingegen grenzt einzelne Objekte in einem Bild nach bestimmten Kategorien ab. Während bei der Bildklassifizierung die Bilder in solche mit und solche ohne Stoppschilder unterteilt werden, werden bei der Objekterkennung alle Verkehrsschilder in einem Bild sowie andere Objekte wie Autos und Personen lokalisiert und kategorisiert.

Bildsegmentierung (oder semantische Segmentierung) ähnelt der Objekterkennung, ist jedoch präziser. Wie die Objekterkennung grenzt die Segmentierung Objekte in einem Bild nach semantischen Kategorien ab. Anstatt Objekte jedoch mit Kästchen zu markieren, werden sie bei der Segmentierung auf Pixelebene abgegrenzt.

Um die inneren Mechanismen der Objekterkennung zu verstehen, ist ein grundlegendes Verständnis von Computer Vision und digitaler Bildverarbeitung im weiteren Sinne erforderlich. Dieser Abschnitt bietet einen allgemeinen Überblick.

In Computer Vision werden Bilder als kontinuierliche Funktionen auf einer 2D-Koordinatenebene ausgedrückt, die als f(x,y) dargestellt wird. Bei der Digitalisierung durchlaufen Bilder zwei Hauptprozesse, die als Sampling und Quantisierung bezeichnet werden und die zusammen die kontinuierliche Bildfunktion in eine separate Gitterstruktur aus Pixelelementen umwandeln. Der Computer kann dann ein Bild in einzelne Bereiche unterteilen, die sich in ihrer visuellen Ähnlichkeit und der Nähe der Pixel unterscheiden.³

Durch die Beschriftung von Bildern über eine Anmerkungsschnittstelle definieren Benutzer ein bestimmtes Objekt als einen Bereich mit bestimmten Merkmalen auf Pixelebene (z. B. Fläche, Grauwert usw.). Bei einem Eingabebild erkennt das Objekterkennungsmodell Regionen mit ähnlichen Merkmalen wie die, die im Trainingsdatensatz als dasselbe Objekt definiert sind. Auf diese Weise ist die Objekterkennung eine Form der Mustererkennung. Modelle zur Objekterkennung erkennen keine Objekte an sich, sondern eher Aggregate von Eigenschaften wie Größe, Form, Farbe usw. und klassifizieren Bereiche anhand visueller Muster, die aus manuell annotierten Trainingsdaten abgeleitet werden.⁴

Ein Objekterkennungsmodell für ein selbstfahrendes Auto erkennt beispielsweise keine Fußgänger, sondern eine Reihe von Merkmalen, die das allgemeine Muster bilden, das Fußgängerobjekte charakterisiert (wie in den Trainingsdaten definiert).

Obwohl verschiedene Modellfamilien unterschiedliche Architekturen verwenden, folgen Deep Learning-Modelle zur Objekterkennung einer allgemeinen Struktur. Sie bestehen aus einem Backbone, einem Neck und einem Head.

Der Backbone extrahiert Funktion aus einem Eingabebild. Oft wird der Backbone aus einem Teil eines vorab trainierten Klassifizierungsmodells abgeleitet. Die Merkmalsextraktion erzeugt eine Vielzahl von Merkmalskarten mit unterschiedlichen Auflösungen, die vom Backbone an den Neck weitergeleitet werden. Dieser letzte Teil der Struktur verkettet die Feature-Maps für jedes Bild. Die Architektur übergibt dann die überlagerten Feature-Maps an den Head, der Bounding-Boxes und Klassifizierungswerte für jedes Feature-Set vorhersagt.

Zweistufige Detektoren trennen die Objektlokalisierung und -klassifizierung im Head, während einstufige Detektoren diese Aufgaben kombinieren. Erstere liefern im Allgemeinen eine höhere Lokalisierungsgenauigkeit, während letztere schneller arbeiten.⁵

„Intersection over Union“ (IoU) ist eine gängige Bewertungsmetrik, die in Objekterkennungsmodellen verwendet wird. Ein Begrenzungsrahmen ist der quadratische Output, der ein erkanntes Objekt gemäß der Vorhersage des Modells abgrenzt. IoU berechnet das Verhältnis der Schnittfläche zweier Begrenzungsrahmen (d. h. der überlappenden Abschnitte der Rahmen) zu ihrer Vereinigungsfläche (d. h. der Gesamtfläche beider Rahmen zusammen):⁶

Wir können uns diese Gleichung wie folgt vorstellen:

Modelle verwenden IoU, um die Vorhersagegenauigkeit zu messen, indem sie den IoU zwischen einer vorhergesagten Box und der Ground-Truth-Box berechnen. Modellarchitekturen verwenden auch IoU, um endgültige Begrenzungsrahmen-Vorhersagen zu generieren. Da Modelle anfangs oft mehrere hundert Begrenzungsrahmen-Vorhersagen für ein einzelnes erkanntes Objekt generieren, verwenden Modelle IoU, um Begrenzungsrahmen-Vorhersagen abzuwägen und zu einem einzigen Rahmen pro erkanntem Objekt zusammenzufassen.

Für verschiedene Auswertungen von Objekterkennungsmodellen können andere Metriken verwendet werden. Die verallgemeinerte Schnittmenge über Vereinigung (GIoU) ist eine modifizierte Version der Schnittmenge über Vereinigung, die Verbesserungen bei der Objektlokalisierung berücksichtigt, für die die grundlegende Schnittmenge über Vereinigung immer noch einen Nullwert zurückgeben kann.⁷ In der Objekterkennungsforschung werden auch gängige Metriken zur Informationsgewinnung verwendet, wie z. B. die mittlere durchschnittliche Präzision und der mittlere durchschnittliche Rückruf.

Es gibt eine Reihe von Ansätzen für das maschinelle Lernen bei der Objekterkennung. Beispiele hierfür sind das Viola-Jones-Framework⁸ und das Histogramm der orientierten Gradienten.⁹ Die jüngste Forschung und Entwicklung im Bereich der Objekterkennung hat sich jedoch weitgehend auf Convolutional Neural Networks (CNNs) konzentriert. Daher konzentriert sich diese Seite auf zwei Arten von CNNs, die in der Objekterkennungsforschung am meisten diskutiert werden. Beachten Sie, dass diese Modelle anhand von Benchmark-Datensätzen wie dem Microsoft COCO-Datensatz oder ImageNet getestet und verglichen werden.

R-CNN (Region-based Convolutional Neural Network) ist ein zweistufiger Detektor, der eine Methode namens „Region Proposals“ verwendet, um 2.000 Bereichsvorhersagen (Region Predictions) pro Bild zu generieren. R-CNN verzerrt dann die extrahierten Regionen auf eine einheitliche Größe und lässt diese Regionen durch separate Netzwerke zur Feature-Extraktion und Klassifizierung laufen. Jede Region wird nach dem Vertrauen in ihre Klassifizierung eingestuft. R-CNN lehnt dann Regionen ab, die eine bestimmte IoU-Überlappung mit einer ausgewählten Region mit höherer Bewertung aufweisen. Die verbleibenden nicht überlappenden und hochrangigen klassifizierten Regionen sind das Ergebnis des Modells.¹⁰ Wie erwartet ist diese Architektur rechenintensiv und langsam. Fast R-CNN und Faster R-CNN sind spätere Modifikationen, die die Größe der R-CNN-Architektur reduzieren und dadurch die Verarbeitungszeit verkürzen und gleichzeitig die Genauigkeit erhöhen.¹¹

YOLO (You Only Look Once) ist eine Familie von einstufigen Erkennungsarchitekturen, die auf Darknet, einem Open-Source-CNN-Framework, basieren. Die YOLO-Architektur wurde erstmals 2016 entwickelt und legt den Schwerpunkt auf Geschwindigkeit. Tatsächlich ist YOLO aufgrund seiner Geschwindigkeit für die Objekterkennung in Echtzeit besser geeignet und wird daher allgemein als hochmoderner Objektdetektor bezeichnet. YOLO unterscheidet sich in mehreren Punkten von R-CNN. Während R-CNN extrahierte Bildbereiche durch mehrere Netzwerke leitet, die Merkmale separat extrahieren und Bilder klassifizieren, fasst YOLO diese Aktionen in einem zentralen Netzwerk zusammen. Zweitens: Im Vergleich zu den rund 2.000 Regionenvorschlägen von R-CNN macht YOLO weniger als 100 Vorhersagen für Begrenzungsrahmen pro Bild. YOLO ist nicht nur schneller als R-CNN, sondern produziert auch weniger falsche Hintergrund-Positivmeldungen, weist jedoch einen höheren Lokalisierungsfehler auf.¹² Seit seiner Einführung wurde YOLO mehrfach aktualisiert, wobei der Schwerpunkt im Allgemeinen auf Geschwindigkeit und Genauigkeit lag.¹³

Obwohl ursprünglich für die Objekterkennung entwickelt, können spätere Versionen von R-CNN und YOLO auch Klassifizierungs- und Segmentierungsmodelle trainieren. Insbesondere kombiniert Mask R-CNN sowohl die Objekterkennung als auch die Segmentierung, während YOLOv5 separate Klassifizierungs-, Erkennungs- und Segmentierungsmodelle trainieren kann.

Natürlich gibt es neben R-CNN und YOLO noch viele andere Modellarchitekturen. SSD und Retinanet sind zwei weitere Modelle, die eine vereinfachte Architektur ähnlich wie YOLO verwenden.¹⁴ DETR ist eine weitere von Facebook (jetzt Meta) entwickelte Architektur, die CNN mit einem Transformator-Modell kombiniert und eine mit Faster R-CNN vergleichbare Leistung aufweist.¹⁵

In vielen Anwendungsfällen ist die Objekterkennung kein Selbstzweck, sondern eine Stufe in einer umfassenderen Aufgabe von Computer Vision.

Unausgewogene Datensätze sind ein Problem bei Objekterkennungsaufgaben, da in vielen bereichsspezifischen Datensätzen die Anzahl der negativen Proben (d. h. Bilder ohne das gesuchte Objekt) die der positiven Proben bei Weitem übersteigt. Dies ist ein besonderes Problem bei medizinischen Bildern, bei denen positive Krankheitsbeispiele schwer zu beschaffen sind. Aktuelle Forschungsarbeiten nutzen die Datenanreicherung, um begrenzte Datensätze zu erweitern und zu diversifizieren und so die Modellleistung zu verbessern.¹⁹

Frühere Entwicklungen im Bereich der Objekterkennung konzentrierten sich größtenteils auf 2D-Bilder. In jüngerer Zeit haben sich Forscher Anwendungen zur Objekterkennung für 3D-Bilder und Videos zugewandt. Bewegungsunschärfe und wechselnder Kamerafokus verursachen Probleme bei der Identifizierung von Objekten über Videobilder hinweg. Forscher haben eine Reihe von Methoden und Architekturen untersucht, um Objekte trotz solcher Bedingungen über Frames hinweg zu verfolgen, wie z. B. die Architektur des rekursiven neuronalen Netzwerks mit Langzeitgedächtnis (LSTM)²⁰ und transformatorbasierte Modelle.²¹ Transformatoren wurden eingesetzt, um Modelle zur Objekterkennung für Echtzeit-Erkennungsaufgaben zu beschleunigen. Parallelverarbeitungstechniken sind ein weiterer wichtiger Forschungsbereich in diesem Zusammenhang.²²