Social-Media-Daten erfassen

So bekommt man die Daten aus dem Social Web

Social-Media-Indexierung

Ein wesentlicher Teil des Social-Media-Monitoring-Prozesses ist die Erfassung von Daten. Verschiedene Ansätze zur Datengewinnung können hier aufgezählt werden.

Daten können manuell gewonnen werden (manuelle Datengewinnung). Sie können vollautomatisch gewonnen werden – meist mit dem Einsatz von Social Media Crawlern oder Social Media Monitoring Technologien (vollautomatische Datengewinnung). Oder sie können per Schnittstelle bezogen werden – hierbei kommen sogenannte Social Media APIs (Application Programming Interfaces) zum Einsatz (Datengewinnung per API).

Manuelle Datengewinnung

manuelle Datengewinnung

Die sicherlich einfachste Herangehensweise ist die manuelle Datengewinnung. Unabhängig davon, ob eine Datenbank oder lediglich eine Excel-Tabelle genutzt wird, sucht und sammelt bei dieser Methode ein Mensch die relevanten Daten und pflegt diese ein. So können Foren-, Blog- und sonstige Social-Media-Inhalte ohne die Unterstützung einer Indexierungstechnologie gesammelt werden.

Kleine Datenmengen

Vor allem bei kleineren Datenmengen in der Größenordnung bis zu rund 300 Einträgen kann diese Art der Datensammlung schnelle Ergebnisse liefern. Dies betrifft beispielsweise Presseportale, bei denen vor allem die von Nutzern generierten Kommentare erfasst werden sollen. Ist die Anzahl der Pressenachrichten gering, kann ein Researcher diese kleinen Mengen von Postings ohne Hilfsmittel erfassen.

Große Datenmengen

Bei einer größeren Datenmenge ist der Aufwand manuell nicht mehr zu bewerkstelligen. Die Indexierung großer Foren oder einer Fülle von Blogs lässt sich vor allem nicht in kurzer Zeit realisieren. Unternehmen sind jedoch fast ausschließlich an aktuellen Beiträgen interessiert.

Umfassendes Monitoring

Ein umfassendes Social Media Monitoring bietet daher immer eine automatische Datengewinnung an. Die manuelle Erfassung kann für kleinere Projekte als Zusatzoption zu dieser eingesetzt werden.

Automatische Datengewinnung im Monitoring

Bei der automatischen Indexierung kommt ein Crawler (auch Spider, Searchbot, Robot oder Bot genannt) zum Einsatz.

Crawler sind vollautomatische Tools, die in den meisten Fällen fortwährend Webquellen scannen und die Ergebnisse in einer Datenbank speichern. Crawler sind vor allem durch öffentliche und populäre Suchmaschinen wie Google bekannt.

Der Google-Crawler

Google setzt seinen eigenen Crawler namens „Googlebot“ ein, der ständig das Web durchsucht und allen Links folgt, die er auf Websites findet. Dadurch entsteht eine große Sammlung von Webinhalten, die schließlich über die Oberfläche der Suchmaschine gefunden werden können.

Wie funktioniert ein Crawler?

Dabei gehen die Crawler meist nicht vollständig in die Tiefe einer Website. Vor allem bei Foren verzichtet unter anderem Google auf eine komplette Indexierung, um die Datenmengen in der eigenen Datenbank geringer zu halten.

Social Media Entitäten

Die Datengewinnung aus Social-Media-Quellen stellt Crawler vor neue Herausforderungen. Ein gewöhnlicher Crawler kann Texte in großen Mengen erfassen und unstrukturiert in seiner Datenbank ablegen. Social-Media-Quellen enthalten jedoch sogenannte Entitäten. Als Entitäten werden in der Informatik und auch in Social Media Attribute wie „Autorenname“, „Datum des Beitrags“, und „Posting“ bezeichnet. Diese Eigenschaft erschwert dem Monitoring Crawler die Datengewinnung um ein Vielfaches, da er in diesem Fall in der Lage sein muss, die Strukturen in einer Social-Media-Quelle zu erkennen.

Social Media Automation

Das Ziel einer Social-Media-Monitoring-Technologie ist es, eine nach Entitäten strukturierte Datenbank bereitzustellen, um ein professionelles Retrieval zu ermöglichen.

Was bringt eine Automation?

Liegen die Entitäten in einer Datenbank nicht geordnet vor, lässt sich kein Mehrwert gegenüber Suchmaschinen wie Google erkennen. Erst durch die Erkennung von Entitäten können spezielle Suchen durchgeführt werden, die beispielsweise nach den aktivsten Usern in einem bestimmten Themenbereich fahnden. Auch zeitliche Suchen sind erst möglich, wenn in der strukturierten Datenbank Datum und Uhrzeit eines Beitrags vorliegen. Gerade diese sind jedoch nicht leicht zu identifizieren. So muss die Social-Media-Monitoring-Technologie zwischen dem Registrierungsdatum des Users (beispielsweise „registriert seit“), einem Termin innerhalb des Beitrags (zum Beispiel ein Veranstaltungstermin, auf den der User aufmerksam macht) und dem Zeitpunkt, zu dem der Beitrag gepostet wurde, unterscheiden können.

Automation-Technologien im Monitoring

Hierzu setzen Anbieter verschiedene Technologien ein. Eine Möglichkeit ist es, Daten erst unstrukturiert zu gewinnen und dann mit Hilfe eines komplexen Datenbereinigungsprozesses auf Strukturen zu untersuchen. Diese Methode führt jedoch aufgrund ihrer Komplexität häufig zu hohen Rechenleistungen. Gleichzeitig sorgt die hohe Fehlerquote nur für unbefriedigende Ergebnisse.

Indexierung durch „Scraping“

Eine andere, wesentlich effizientere Möglichkeit der Datengewinnung kann das Scrapen sein. In diesem Fall versucht ein Crawler bereits während der Datensammlung die Struktur in den Social-Media-Quellen zu erkennen. Erst wenn Strukturen korrekt identifiziert worden sind, werden die Daten gespeichert. Erfolgt keine eindeutige Erkennung, setzt der Crawler seine Indexierung nicht fort und alarmiert gegebenenfalls den Administrator.

Strukturen besser erkennen

Social-Media-Strukturen

Da mehr als 90% aller Social-Media-Inhalte unstrukturiert sind, setzt diese Methode die wahrscheinlich größte innovative Anstrengung voraus. Zur Erkennung unstrukturierter Daten im Social Web sind meist informationswissenschaftliche Kenntnisse und anwendungsorientierte Informatik nötig. Diese Art führt jedoch zu deutlich weniger Fehlern in der Datenbank. Hierbei muss die Monitoring-Technologie Entitäten nicht erst durch einen aufwändigen Prozess identifizieren: Die entstehende Datenbank wäre dann im besten Fall bereits optimal strukturiert.

Social Media Entitäten

Falsch zugeordnete Entitäten können die Suchmaschine etwa dazu bringen, Autoren, Beiträge und Datumsnennungen zusammenzumischen. Die Identifikation von Meinungsführern wird so erschwert oder gar ganz verhindert. Data Mining und Analysen werden erst durch eine korrekte Erkennung der Attributwerte möglich.

Eine Monitoring-Agentur ist in der Lage, Auskunft darüber zu geben, ob eine Indexierung stattfindet. Findet keine statt, sollte hinterfragt werden, wie die Agentur an ihre Daten gelangt. Werden sie beispielsweise eingekauft, liegt die Überlegung nahe, die Dienstleistung direkt beim Daten-Anbieter zu beziehen.

Social Media Index

Social Media Index

Es ist eigentlich unabdingbar, dass eine Monitoring-Agentur Foren selbst indexiert und diese Indexierung mit Hilfe eines elaborierten Prozesses und mit technischem Know-how durchführt.

Eine größere Monitoring-Agentur kann grundsätzlich alle drei Varianten der Datenerfassung anbieten. Die Möglichkeit der eigenen Indexierung hat jedoch Priorität. Die Indexierung unstrukturierter Daten aus dem Web ohne die Unterstützung von APIs ist sicherlich die fortschrittlichste und gleichzeitig schwierigste Form der Datengewinnung. Sie ist jedoch notwendig, da sonst die größte Menge an Social-Media-Quellen nicht ausgewertet werden kann. Der gleichzeitige Einsatz von Schnittstellen gewährleistet, dass weitere Quellen einfach und schnell ausgelesen werden können. Die Kombination aller drei Möglichkeiten stellt Social Media Monitoring zwar vor diverse informationswissenschaftliche Herausforderungen, macht aber letztlich einen kompetenten Monitoring-Dienstleister aus.

Als empfehlenswert kann ein Anbieter bezeichnet werden, der sowohl die verwendeten Daten selbst indexiert, als auch die Dienstleistung des Social Media Monitoring anbietet. Auf diese Weise können Kundenwünsche wie das Hinzufügen neuer Quellen zeitnah umgesetzt werden.


Social Media Monitoring AnbieterSocial Media Monitoring Anbieter 2017

Der Markt in Deutschland, Europa und weltweit insgesamt ist weiterhin turbulent. Vor 10 Jahren noch über 170 Anbieter am Markt, sind es mittlerweile über 300, und immer mehr Agenturen behaupten die Dienstleistung Social Media Monitoring bestens zu beherrschen. Doch wie kann man als Unternehmen die Spreu vom Weizen trennen?


Social Media Monitoring Tool auswählenSocial Media Monitoring Tool

Auf dem Markt gibt es mittlerweile zahlreiche Social Media Tools zur Auswahl. Von kostenlosen Monitoring Tools, Subscription based bis hin Full-Service-Modellen ist alles zu finden. Doch welche Anforderungen sollten an ein Social Listening Tool gestellt werden?


Social Media Monitoring Kosten

Kosten eines Social Media Monitorings

Oft machen Unternehmen den Fehler, dass Sie mit einer bestimmten Erwartungshaltung versuchen die Kosten eines Social Media Monitorings zu erschließen. Allerdings handelt es sich beim Social Listening um eine besondere Form des Informationsguts.


Social Media Monitoring Projekt

Ablauf eines Social Media Monitoring in Schritten

Ein typisches Social-Media-Monitoring-Projekt beginnt logischerweise mit einem Projekt-Kickoff. Danach folgt der Zeitplan. Ab diesem Zeitpunkt unterscheidet sich das Monitoring von üblichen Abläufen im Projektmanagement. Denn es kommen spezifische Aufgaben in Frage, die auf ein Social Listening zugeschnitten sind.


Sentiment-Analyse

Sentiment-Analyse: Meinungen auswerten

Die größte Herausforderung im Social Listening ist es die Fülle von Meinungen auszuwerten. Dabei gibt es zwei Möglichkeiten: Die manuelle Auswertung mühsam durch Lesen und per Hand. Oder die automatische durch einen Computer. Welche Vor- und Nachteile bringen diese Methoden?


Text Mining

Text Mining: Automatische Linguistik

Meinungen aus dem Social Web mit Text Mining auslesen bedeutet, der Computer versucht mit linguistischen Methoden herauszufinden, wie jemand über ein bestimmtest Produkt spricht. Doch die Meinungen im Social Web sind für einen Computer eine große Herausforderung.


Social Media Monitoring

Social Media Monitoring auf der dmexco

Die dmexco gilt als die größte Marketing-Messe der Welt und findet jährlich in Köln statt. Nebst den großen Ausstellern wie Google, Yahoo und Microsoft finden sich dort auch eine Menge Aussteller, die Social-Media-Monitoring-Lösungen anbieten. Das haben Social-Media-Interessierte zu erwarten.


ThemenmonitoringThemenmonitoring

Im Themenmonitoring geht es darum im Social Web aus der Fülle von Daten die relevanten Themen auszufiltern. Hierzu gibt es zwei Methoden im sogenannten „Topic Detection“: Die automatische oder die manuelle Themenerkennung. Entweder mühsam per Hand oder durch künstliche Intelligenz.


ProduktmonitoringProduktmonitoring

Wenn Unternehmen wissen wollen, wie ueber ihre Produkte im Social Web gesprochen wird, sind sie zunächst mit einer Fuelle von Daten konfrontiert. Die Produktbeobachtung scheint schier unmöglich zu sein. Doch im Social Listening bietet hier verschiedene Konzepte um die Daten auszuwerten.


UnternehmensbeobachtungUnternehmensbeobachtung

In der Unternehmensbeobachtung geht es darum zu wissen, wie ueber eine Firma um Netz gesprochen wird. Die Wahrnehmung des Brandings ist hierbei von Bedeutung. Fuer das Reputationsmanagement ist es enorm wichtig die Meinungsströmungen im Social Web zu erkennen – am besten noch bevor bestimmte Themen viral geworden sind.


MeinungsführerOpinion Leader identifizieren

Millionen von Nutzern diskutieren täglich über allemöglichen Themen. Inmitten dieses Chaos gibt es allerdings bestimmte Meinungsmacher, die die sogenannten Gatekeeper des Social Webs ausmachen. Mit ausgefeilten Social Listening Konzepten ist es möglich diese Meinungsführer ohne Weiteres zu identifizieren.


 Medien MonitoringMedienresonanzanalyse und Social Media Monitoring

Gehören im Social Listening eigentlich auch Presseportale dazu? Im ersten Blick scheinen klassische Presseportale keine Social-Media-Quellen zu sein. Doch im zweiten Blick wird deutlich, dass unter den Artikeln eine Menge Nutzerkommentare zu finden sind.


Social Media KanäleSocial-Media-Quellen

Beim Social Media Monitoring gilt es verschiedene Kanäle des Social Web zu beobachten. Jede dieser Quellen, seien es Foren, Blogs oder sei es Facebook oder Twitter, brauchen eine individuelle Monitoring-Strategie und technische Vorgehensweise.


Künstliche IntelligenzKünstliche Intelligenz – Mensch vs. Maschine

Die Künstliche Intelligenz von heute kann Meinungen aus dem Social Web erkennen und somit den Unternehmen mitteilen, wie die Nutzer über ihre Produkte und Dienstleistungen denken. Und es geht mehr als nur gut oder böse … Computer erkennen auch Liebe und Ekel.


Social Media APIsSocial Media APIs

Das Gewinnen von Daten aus verschiedenen Social-Media-Quellen bereitet vor allem Social-Media-Monitoring-Agenturen Schwierigkeiten vor. Die großen Anbieter wie Facebook und Twitter bieten APIs an. Doch wie ist es mit Foren, die selbst entwickelte Software anbieten?


Social-Media-Daten indexierenSocial-Media-Daten aus dem Web

Beim Research im Social Web ist man auf eins angewiesen: Daten. Allerdings ist die manuelle Datengewinnung mühsam. Die technische Erfassung ist ebenfalls nicht ganz reibungsfrei. Daher gilt es ein Erfassungskonzepte beim Scrapen von Social-Media-Daten zu kennen und einzusetzen.


Social Media Monitoring AnsatzSocial-Media-Monitoring-Konzept

Social Listening braucht ein Management-Ansatz um erfolgreich zu sehen. Bei der Fülle von Daten im Social Web ist ein Prozess, der vom Bauchgefühl her kommt nicht zielfrürend. Bereits vor ca. 15 Jahren hab es wissenschaftliche Modelle.


Ford FanAwardFord FanAward – das erste Social Media Engagement

Mit dem Ford FanAward startete Ford Deutschland eines der ersten Social Media Engagements der Welt. Die Maßnahme ist auf ein Social Media Monitoring zurückzuführen, bei der Ford feststellte, dass die größte Fan Community in Foren zu finden waren. Prompt belohnte es die Foren-Betreiber mit Awards.


Vollautomatisches MonitoringTechnisches Social Media Monitoring

Beim technischen Monitoring werden Social-Media-Quellen von einer Maschine erfasst und ausgewertet. Hierbei findet keine intellektuelle Auswertung der Inhalte statt, d. h. die Beiträge im Social Web werden von keinem Menschen gelesen. Die Frage hierbei ist, wie gut sind solche Technologien?


Externe Technologie

Die passende Social Listening Agentur finden

Social Media Monitoring Dienstleister gibt es wie Sand am Meer. Doch nur einige wenige haben selbst-entwickelte Tools und platzieren sich als Full-Service-Dienstleister. Worauf muss man bei der Auswahl achten und welche Typen von Agenturen gibt es?


Manuelles Social ListeningManuelles Social Media Monitoring

Beim Social Listening kann man auch ohne Technologie durchführen. Obwohl es eine schier unendliche Menge von Beiträgen und Kommentaren im Social Web zu geben scheint, kann ein Mensch mit anderen Methoden das Web relativ gut auswerten, wenn ein Prozess vorhanden ist.


Social-Media-Monitoring-Studien: