Big Data kann Computern helfen, Emotionen zu identifizieren, die an Bilder gebunden sind

Beliebte Websites wie Twitter, Facebook und andere Kanäle sind jetzt mit Bildern gefüllt, die einer Person helfen, Gedanken und Gefühle besser auszudrücken. Neue Forschungsergebnisse legen nahe, dass „Big Data“ - jede Sammlung von Datensätzen, die so groß oder komplex ist, dass die Verarbeitung mit herkömmlichen Datenverarbeitungsanwendungen schwierig ist - verwendet werden kann, um Computern beizubringen, den mit Bildern verbundenen Inhalt und die Gefühle zu interpretieren.

Dr. Jiebo Luo, Professor für Informatik an der Universität von Rochester, präsentierte kürzlich in Zusammenarbeit mit Forschern von Adobe Research auf einer Konferenz der American Association for Artificial Intelligence (AAAI) einen Artikel, in dem ein progressives Training des Deep Convolutional Neural Network (CNN) beschrieben wird. .

Der trainierte Computer kann dann verwendet werden, um zu bestimmen, welche Gefühle diese Bilder wahrscheinlich hervorrufen. Laut Luo könnten diese Informationen für so unterschiedliche Dinge wie die Messung von Wirtschaftsindikatoren oder die Vorhersage von Wahlen nützlich sein.

Die Aufgabe ist jedoch komplex. Die Stimmungsanalyse von Text durch Computer ist selbst eine herausfordernde Aufgabe. In sozialen Medien ist die Stimmungsanalyse komplizierter, da sich viele Menschen mit Bildern und Videos ausdrücken, die für einen Computer schwieriger zu verstehen sind.

Beispielsweise teilen Wähler während einer politischen Kampagne ihre Ansichten häufig durch Bilder.

Zwei verschiedene Bilder zeigen möglicherweise denselben Kandidaten, geben jedoch möglicherweise sehr unterschiedliche politische Aussagen ab. Ein Mensch könnte eines als positives Porträt des Kandidaten erkennen (z. B. den Kandidaten lächeln und seine Arme heben) und das andere als negativ (z. B. ein Bild des Kandidaten, der besiegt aussieht).

Aber kein Mensch kann sich jedes Bild ansehen, das in den sozialen Medien geteilt wird - es ist wirklich „Big Data“. Um fundierte Vermutungen über die Beliebtheit eines Kandidaten anstellen zu können, müssen Computer geschult werden, um diese Daten zu verarbeiten. Dies können Luo und seine Mitarbeiter genauer tun als bisher möglich.

Die Forscher behandeln die Aufgabe, Gefühle aus Bildern zu extrahieren, als ein Problem der Bildklassifizierung. Dies bedeutet, dass irgendwie jedes Bild analysiert und Beschriftungen darauf angebracht werden müssen.

Zu Beginn des Schulungsprozesses verwendeten Luo und seine Mitarbeiter eine große Anzahl von Flickr-Bildern, die von einem Maschinenalgorithmus mit bestimmten Gefühlen lose beschriftet wurden, in einer vorhandenen Datenbank namens SentiBank (entwickelt von Dr. Shih-Fu Changs Gruppe in Columbia) Universität).

Dies gibt dem Computer einen Ausgangspunkt, um zu verstehen, was einige Bilder vermitteln können.

Die maschinengenerierten Etiketten enthalten jedoch auch die Wahrscheinlichkeit, dass dieses Etikett wahr ist. Wie sicher ist der Computer, dass das Etikett korrekt ist?

Der Schlüsselschritt des Trainingsprozesses kommt als nächstes, wenn sie Bilder verwerfen, für die das Gefühl oder die Gefühle, mit denen sie gekennzeichnet wurden, möglicherweise nicht wahr sind. Daher verwenden sie nur die "besser" gekennzeichneten Bilder für das fortschreitende Training im Rahmen des leistungsstarken neuronalen Faltungsnetzwerks.

Resaercher stellte fest, dass dieser zusätzliche Schritt die Genauigkeit der Gefühle, mit denen jedes Bild beschriftet ist, erheblich verbesserte.

Sie haben diese Sentiment-Analyse-Engine auch mit einigen Bildern aus Twitter angepasst. In diesem Fall verwendeten sie "Crowd Intelligence", wobei mehrere Personen bei der Kategorisierung der Bilder über die Amazon Mechanical Turk-Plattform halfen.

Sie verwendeten nur eine kleine Anzahl von Bildern zur Feinabstimmung des Computers und zeigten durch Anwendung dieses Domänenanpassungsprozesses, dass sie die aktuellen Methoden zur Stimmungsanalyse von Twitter-Bildern verbessern können.

Ein überraschender Befund ist, dass die Genauigkeit der Klassifizierung der Bildstimmung die der Klassifizierung der Textstimmung in denselben Twitter-Nachrichten überschritten hat.

Quelle: Universität von Rochester