Text Mining im Social Web

Ist „gut gemeint“ auch „gut gemacht“?

von Dominik Grimm

Themen: Social Media Monitoring, Social Media, Sentimentanalyse, Komposita-Zerlegung, Synonym-Erkennung, Relevanzverfahren

Viele Unternehmen haben die Notwendigkeit erkannt, Foren, Blogs und Social Networks nach produkt- bzw. firmenrelevanten Beiträgen zu scannen und auszuwerten. Die Bezeichnung dafür ist Social Media Monitoring.

Diese Dienstleistung bietet Unternehmen zum Beispiel die Möglichkeit, die Stimmungslage zu eigenen Produkten im Web zu erfassen, Benchmarks durchzuführen, Frühwarnsysteme zu etablieren oder Trendthemen zu identifizieren. Dabei werden vor allem B2C-Unternehmen mit einer Vielzahl an Beiträgen konfrontiert. Allein in Foren ist zu einem einzigen Unternehmen eine bis zu 5-stellige Anzahl an Beiträgen täglich keine Seltenheit.

Dabei sind Foren im deutschsprachigen Social Web auch für eine detaillierte Meinungsbildanalyse die qualitativ hochwertigste Quelle. Während im englischsprachigen Ausland Blogs einen höheren Stellenwert genießen, werden Blogs hierzulande bei Fragen zu Produkten oder Dienstleistungen eher selten frequentiert. In Foren hingegen gibt es kaum eine Frage, die noch nicht beantwortet wurde. Mitunter werden die Inhalte dieser Fragestellungen auf sehr hohem Niveau diskutiert, nicht selten sogar von Fachleuten mit Insiderwissen. Diese Forenbeiträge zu identifizieren und zu indexieren, ist eine Herausforderung an professionelle Social-Media-Monitoring-Unternehmen. Diese Inhalte auch inhaltlich auszuwerten, um die Fragestellungen seitens der beauftragenden Unternehmen aufschlussreich zu beantworten, ist eine weitere.

Um diese Masse an Beiträgen nach Tonalität und Inhalt auszuwerten, werden derzeit verschiedene automatisierte Verfahren angeboten. Diese sogenannten Tonalitäts- bzw. Sentimentanalysen versprechen unter anderem, Unternehmen einen Einblick in die Webdiskussionen zu geben und die Reputation einzelner Produkte automatisch auszuwerten. Während bereits in der linguistischen Erschließung von deutscher Literatur mit einer Vielzahl an Herausforderungen wie beispielsweise der Synonymkontrolle, der Komposita-Zerlegung oder der Stoppwort-Eliminierung zu rechnen ist, stellt die Erschließung und Auswertung von Social-Media-Beiträgen die Wissenschaft vor noch größere Hürden. Denn die Sprache im Social Web folgt eigenen Regeln. Besonders in Foren werden unzählige Abkürzungen und eigene Wortkreationen genutzt, Rechtschreibung und grammatikalische Regeln werden sehr oft nicht beachtet, Emoticons tragen zur Sinngestaltung bei. Zudem ergibt sich ein Problem bei der Zuordnung von Beiträgen in Foren.

Dazu ein Beispiel: Person Anton stellt in einem Forum eine Frage zum Kundenservice bei der Victoria Versicherung und eröffnet somit einen Thread. Person Berta antwortet, dass die von dem „Verein“ doch „super schlecht“ seien und Person Cäsar sagt aus, dass seine Tochter Victoria bei der Allianz versichert und er mit dem Support dort zufrieden sei. Person Dora schaltet sich auch noch in die Diskussion ein und schreibt, dass die Hotline-Mitarbeiter immer eine gute Antwort hätten, die Lösung jedoch auf einem anderen Blatt geschrieben stehe.

Die Probleme, die sich bei der Auswertung ergeben, liegen auf der Hand. Wird jeder einzelne Beitrag zum Thema Victoria Versicherung untersucht, kann lediglich der erste Beitrag von Person Anton dieser Fragestellung einwandfrei zugeordnet werden. Um die weiteren Beiträge zuordnen zu können, müssen die Ergebnisse nach der Indexierung zuerst strukturiert und in Verbindung mit der Ausgangsfragestellung gestellt bzw. die Postings müssen den Threads zugeordnet werden. Doch bereits hier scheitert eine Vielzahl der automatischen Lösungen.

Ist die Zuordnung innerhalb einer Datenbank tatsächlich erfolgt, entstehen weitere Probleme, denn die Person Berta nennt die Victoria nicht mehr namentlich, sondern bezeichnet sie als „Verein“. Somit muss für das Auswertungstool ein Zusammenhang von „Verein“ zur Victoria Versicherung hergestellt werden. Zudem muss das System erkennen können, dass die Aussage „super schlecht“ als Phrase eine negative Gewichtung erfährt. Person Cäsar erwähnt zwar den Begriff Victoria, meint damit jedoch den Namen seiner Tochter. Jedoch ist er mit den Leistungen der Allianz zufrieden und kommt auf den ursprünglichen Versicherer nicht zu sprechen. Hier greifen die Herausforderungen der Synonym-Erkennung und Themenzuordnung. Zusätzlich steht das System vor der Herausforderung, den Begriff „Support“ dem Thema Kundenservice zuzuordnen, um ein aussagekräftiges Ergebnis zu bekommen. Person Dora hingegen postet aus maschineller Sicht eine positive Antwort, die von Menschen jedoch als ironisch erkannt wird.

Zudem wird in diesem Beispiel von einem fehlerfreien Schreibstil nach den Regeln der deutschen Rechtschreibung ausgegangen, so dass die Fehlerkorrektur in der Beschreibung der Problemstellung gar nicht erst auftaucht. Viele automatisierte Texterkennungsverfahren kombinieren unterschiedliche Methoden mit dem Versuch, die Ergebnisse zu optimieren. So werden unter anderem Stoppworteliminierung, Stemmingverfahren, Worthäufigkeiten bzw. Density und Wörterbuchabgleich hintereinander geschaltet, um die Daten besser zu filtern. Jedoch ergibt sich aus einer Vielzahl an Verfahren in Kombination mit einer hohen Anzahl an Beiträgen ein nicht zu unterschätzendes Performance-Problem. Der Abgleich an Wörterbüchern, die zusätzlich Phrasen beinhalten, braucht, je nach Menge der Beiträge, eine am Ergebnis gemessen unverhältnismäßig große Menge an zeitlichen und technischen Ressourcen.

Ein weiteres Beispiel, eine Wortmeldung von „bikiniland2″: „ach du scheisse is de geil *_* !!!ich bin so dumm !!! meine mutter wollte mir ein ipad kaufen aber ich hab ja unbedingt ein laptop haben müssen -.-.-..- MAAAAAHN!“

Was hier wie eine unqualifizierte Äußerung aussieht, die inhaltlich nicht viel zu bieten hat, ist innerhalb eines Forums ein klares Votum für das iPad und müsste in einem Stimmungsbarometer positiv dargestellt werden. Ein klarer Bezug zum iPad ist maschinell erkennbar, jedoch sind die zwei Terme „scheisse“ und „dumm“ negativ besetzt. Der Ausdruck „geil“ beinhaltet wiederum eine Vielzahl von Interpretationsmöglichkeiten. Das System steht also vor dem Problem zu entscheiden, ob ein Beitrag negativ oder positiv ist. Zudem muss vorab festgelegt sein, wann ein Beitrag positiv oder negativ einzuordnen ist.

Aktuell gehen die glaubwürdigsten Schätzungen im Rahmen der Ergebnisgenauigkeit von 60 Prozent aus. Innerhalb dieser Schätzungen ist nicht klar, welche Datengrundlage vorliegt, wie vollständig die Analyse ist und ob überhaupt die deutsche Sprache damit gemeint ist. Des Weiteren sind die Testverfahren zumeist nicht bekannt. Ein seriöser Anbieter muss daher Auskunft über seine Vorgehensweise und über den Umgang mit den oben geschilderten Fragestellungen Antworten geben können.

Um sich für eine automatische Auswertung von Social-Media-Inhalten zu entscheiden, sollte die Methode vorab mit dem angestrebten Ziel verglichen werden. Selbst zur Trendbestimmung sind viele Verfahren unzureichend. Einige Verfahren zeigen zum Beispiel Begriffe sortiert nach Häufigkeit an, die rund um den Namen des Unternehmens genannt werden. Doch hier muss die Frage gestellt werden, welchen Mehrwert diese Information tatsächlich bietet.

Nimmt man einmal an, dass zum Unternehmen „Dresdner Bank“ häufig der Begriff „Bankenkrise“ fällt. Da dieser Begriff im Umfeld anderer Banken auch häufig zu finden ist, ist zunächst nicht festzustellen, welchen Bezug „Bankenkrise“ nun zu „Dresdner Bank“ hat. Ist die Dresdner Bank von der Bankenkrise betroffen oder hat sie die Bankenkrise ausgelöst? Diese und weitere Fragen lassen sich erst nach einem manuellen Research in den Ergebnissen beantworten. Nicht selten stellt sich dabei heraus, dass das als Trend genannte Thema keinen Impact oder Mehrwert für das eigene Unternehmen besitzt.

Der Qualitätsaspekt ist somit die zentrale Fragestellung bei der Entscheidung, Social Media nur mit automatisierten Verfahren auszuwerten. Um diese Fragestellungen und Probleme zu lösen, setzen einige Anbieter auf eine hybride Methode. Zusätzlich zur automatischen Auswertung werden die Ergebnisse um intellektuelle Auswertungen ergänzt. Somit werden die erhobenen Daten transparent und können als Grundlage für eine Handlungsempfehlung dienen oder ein Stimmungsbarometer darstellen. Dazu wird vorab die Masse der Beiträge durch Relevanzverfahren reduziert. Diese legen die unternehmensrelevanten Quellen fest. Schließlich werden die automatischen Verfahren von ausgebildeten Researchern aufgesetzt, unterstützt und bewertet.

Aktuell forschen u. a. die Technische Hochschule Köln und die Universität Düsseldorf an Lösungen für ein hochwertigeres Ergebnis automatischer Analysen in der deutschen Sprache in Verbindung mit menschlicher Unterstützung. Es empfiehlt sich daher, bei der Auswahl eines solchen Tools, Anbieter mit den oben genannten Fragestellungen zu konfrontieren. Für ein qualitativ hochwertiges Ergebnis in der deutschen Sprache ist es weiterhin notwendig, menschliche Ressourcen einzusetzen, um qualitativ hochwertige Ergebnisse zu erhalten.


Die letzten Artikel zum Thema Social Listening:

Social Media Monitoring Anbieter Social Media Monitoring Anbieter 2018

Der Markt in Deutschland, Europa und weltweit insgesamt ist weiterhin turbulent. Vor 10 Jahren noch über 170 Anbieter am Markt, sind es mittlerweile über 300, und immer mehr Agenturen behaupten die Dienstleistung Social Media Monitoring bestens zu beherrschen. Doch wie kann man als Unternehmen die Spreu vom Weizen trennen?


Social Media Monitoring Tool auswählen Social Media Monitoring Tool

Auf dem Markt gibt es mittlerweile zahlreiche Social Media Tools zur Auswahl. Von kostenlosen Monitoring Tools, Subscription based bis hin Full-Service-Modellen ist alles zu finden. Doch welche Anforderungen sollten an ein Social Listening Tool gestellt werden?


Forrester Wave Social Listening Themenmonitoring im Social Web

Im Social Media Monitoring kommt es darauf an die Themen, die im Social Web gefunden werden auch richtig einzuordnen. Hierzu gibt es spezielles Konzept, welches sich genau mit dieser Herausforderung beschäftigt.


Forrester Wave Social Listening Forrester Wave: Listening Platforms

Forrester Wave ist der regelmäßig erscheinende Bericht über Social Media Monitoring von Forrester Research. In den USA heißt nämlich Social Media Monitoring übersetzt Social Listening.


Deutsche Telekom Monitoring Social Media Monitoring bei der Deutschen Telekom

Ein interner Bericht der Deutschen Telekom zeigt, wie das Unternehmen seit mehr als 10 Jahren Social Media beobachtet und auswertet.


Datenhandel im Social Media Monitoring llegaler Datenhandel im Social Media Monitoring

Bei der Nutzung von Social-Media-Daten handeln viele Unternehmen illegal, ohne es wirklich wahrzunehmen. Das Problem liegt an amerikanischen Social Listening Tools. Was dort legal ist, ist hierzulande illegal. Wenn diese Daten aus USA genutzt werden, kann das ein Problem darstellen.

>> Alle Artikel zum Thema Social Media Monitoring

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht.