Data-Mining

Data Mining bezeichnet die systematische Suche nach Mustern und Zusammenhängen in Daten. Ein Fahrradhändler kann damit herausfinden, welche Produkte auffällig oft gemeinsam im Warenkorb liegen. Besonders interessant sind Kombinationen, die häufiger vorkommen, als man angesichts der Verkaufszahlen beider Artikel erwarten würde. Dafür braucht der Händler eine Vergleichsgröße. Ein Bestseller taucht schließlich schon wegen seiner Beliebtheit auf vielen Kassenbons auf.

Was ist Data Mining?

Wie werden aus einzelnen Beobachtungen Muster?

Auf einem Bon stehen eine Fahrradlampe und Batterien. Das verrät dir, was bei diesem Einkauf im Korb lag. Erst der Vergleich mit anderen Einkäufen zeigt, ob es sich lohnt, die Kombination genauer anzusehen. Du zählst, wie oft die Lampe vorkommt, wie oft Batterien vorkommen und wie häufig beide gemeinsam gekauft werden. Aus diesen Häufigkeiten entsteht eine prüfbare Regel.

In einem Sortiment mit Hunderten Artikeln lässt sich dieses Verfahren auf viele Kombinationen anwenden. Schon 100 verschiedene Artikel ergeben 4.950 mögliche Paare. Algorithmen für die Assoziationsanalyse durchsuchen solche Kombinationen und können dabei eine vorgegebene Mindesthäufigkeit berücksichtigen. Als Ergebnis erhältst du beispielsweise eine kurze Liste von Produktpaaren, deren gemeinsame Käufe für eine Entscheidung über das Sortiment interessant sind.

Was unterscheidet Data Mining, Datenanalyse und Machine Learning?

Datenanalyse umfasst die Auswertung von Daten zu einer Frage. Will der Händler wissen, wie viele Lampen er im Mai verkauft hat, genügt die Summe der verkauften Stückzahlen. Beim Data Mining kann er die Frage offener stellen. Welche Artikel aus dem Sortiment tauchen auf denselben Bons auffällig häufig zusammen auf? Das konkrete Produktpaar muss er vorher noch nicht kennen.

Beim maschinellen Lernen lernt ein Modell Zusammenhänge aus Beispielen. So kann ein Kundendienst anhand bereits zugeordneter Nachrichten ein Modell trainieren, das neue Anfragen an die richtige Stelle weiterleitet. Maschinelles Lernen und Data Mining überschneiden sich bei solchen Aufgaben. Die Kennzahlen für ein vorgegebenes Produktpaar lassen sich dagegen bereits durch Zählen und Dividieren bestimmen. Erst die Suche über viele mögliche Paare macht aus der einzelnen Rechnung eine Suche nach bisher unbekannten Mustern.

Bei der Wahl der Methode hilft eine weitere Unterscheidung. Für überwachtes Lernen brauchst du Beispiele mit einem bekannten Zielwert, etwa frühere Bestellungen mit der tatsächlich verkauften Menge. Beim unüberwachten Lernen sucht das Verfahren Strukturen in den vorhandenen Merkmalen. Cluster und häufige Produktkombinationen lassen sich auf diese Weise auch dann finden, wenn niemand die Gruppen oder Regeln vorab beschriftet hat.

Data Mining am Beispiel einer Warenkorbanalyse

Welche Daten braucht eine Warenkorbanalyse?

Für die Frage nach gemeinsamen Käufen brauchst du zwei Angaben, nämlich eine eindeutige Kennung für jeden Einkauf und die Artikelnummern auf dem zugehörigen Bon. Die Bon-ID reicht aus, um die Artikel eines Einkaufs zusammenzuführen. Eine Transaktion kann mehrere Artikelpositionen enthalten. Deshalb ist für die Rechnung die Zahl der verschiedenen Bons der richtige Nenner.

Angenommen, ein Kunde kauft eine Fahrradlampe und zwei Packungen derselben Batterien. Für den gemeinsamen Kauf zählt dieser Bon einmal. Die zusätzliche Packung erhöht den Absatz, aber die Zahl der Warenkörbe mit Batterien bleibt gleich. Diese Unterscheidung ist wichtig, wenn die Kassendaten für jede gescannte Packung eine eigene Zeile enthalten.

Die folgende Tabelle zeigt fiktive Daten für 1.000 Einkäufe in einem Fahrradgeschäft. Unter „Batterien“ sind hier nur Packungen eines zur Lampe passenden Typs zusammengefasst. Die 760 Einkäufe ohne die beiden Artikel gehören ebenfalls zum Datensatz. Sie liefern den Maßstab dafür, wie häufig ein Artikel im gesamten Geschäft gekauft wird.

Wie berechnet man Support, Confidence und Lift?

Die Regel lautet Fahrradlampe → Batterien. Die linke Seite legt fest, welche Warenkörbe du betrachtest. Auf der rechten Seite steht der Artikel, nach dem du in diesen Warenkörben suchst. Den Pfeil liest du als Frage. Wie oft enthalten Einkäufe mit einer Lampe auch Batterien?

Der Support misst, auf welchem Anteil aller Bons beide Artikel stehen. Das sind 60 von 1.000, also 6 Prozent. Der Support zeigt auch die Größenordnung einer Regel. Eine Kombination auf 60 Bons liefert eine andere Grundlage für eine Sortimentsentscheidung als eine Kombination auf lediglich zwei Bons.

Die Confidence verwendet als Nenner nur die 100 Bons mit einer Lampe. Davon enthalten 60 auch Batterien. Die Confidence beträgt 60 Prozent. Um zu beurteilen, ob das viel ist, brauchst du die Grundrate. Über alle Einkäufe hinweg landen Batterien auf 200 von 1.000 Bons, also in 20 Prozent der Warenkörbe.

Der Lift setzt die Confidence ins Verhältnis zur Grundrate. Hier ergibt 0,60 geteilt durch 0,20 einen Lift von 3. Batterien sind unter den Einkäufen mit Lampe dreimal so häufig vertreten wie unter allen Einkäufen. Das lässt sich an der erwarteten Häufigkeit prüfen. Bei statistischer Unabhängigkeit wären auf 100 Lampenbons im Mittel 20 gemeinsame Käufe zu erwarten. Beobachtet wurden 60.

Quelle: datenbasiert.de

Was verändert sich, wenn man die Regel umkehrt?

Für die Regel Batterien → Fahrradlampe stehen dieselben 60 gemeinsamen Käufe im Zähler. Jetzt bilden aber die 200 Bons mit Batterien den Nenner. Die Confidence beträgt 30 Prozent. Der Support bleibt bei 6 Prozent, und auch der Lift bleibt gleich. 30 Prozent geteilt durch die Grundrate für Lampen von 10 Prozent ergibt wieder 3.

Für den Händler macht die Richtung einen Unterschied. Bei einer Empfehlung auf der Lampenseite ist interessant, wie oft Batterien in einem Lampenkauf vorkommen. Für eine Empfehlung auf der Batterieseite zählt, wie oft eine Lampe im Batteriekauf vorkommt. Der Kassenbon enthält beide Positionen und lässt offen, welchen Artikel die Person zuerst ausgewählt hat. Wer den tatsächlichen Ablauf untersuchen möchte, braucht Ereignisse mit Zeitstempeln.

Wie prüft man, ob das Muster bestehen bleibt?

Prüfe die Regel an Einkäufen aus einem späteren Zeitraum. Angenommen, im Folgemonat gibt es wieder 1.000 Bons und 100 Einkäufe mit Lampe. Auf 60 dieser Bons stehen Batterien. Zugleich steigen die Batteriekäufe im gesamten Geschäft auf 400. Die Confidence für die Empfehlung von Batterien zur Lampe bleibt bei 60 Prozent. Der Lift sinkt auf 1,5, weil die Grundrate jetzt 40 Prozent beträgt. Derselbe Anteil gemeinsamer Käufe unter Lampenkäufern ist im neuen Sortiment weniger bemerkenswert.

Eine gemeinsame Rabattaktion könnte beide Produkte gleichzeitig attraktiv gemacht haben. Berechne deshalb die Regel getrennt für reguläre Verkaufswochen und Aktionswochen, sofern in beiden Zeiträumen genügend Einkäufe vorliegen. Für die Entscheidung über eine Empfehlung zählt außerdem deren tatsächliche Wirkung. Bei einem A/B-Test kannst du geeignete Shopbesucher zufällig einer Variante mit Zubehörhinweis oder einer Vergleichsvariante ohne Hinweis zuteilen. Der Unterschied in der Zukaufrate zeigt, welchen zusätzlichen Verkauf der Hinweis unter den Testbedingungen bewirkt haben könnte.

Quelle: datenbasiert.de

Welche Data-Mining-Methoden gibt es?

Assoziationsanalyse

Die Assoziationsanalyse sucht nach Merkmalen, die in denselben Beobachtungen gemeinsam auftreten. Ein verbreiteter Algorithmus ist Apriori. Er nutzt eine einfache Eigenschaft. Eine Kombination aus Lampe, Batterien und Halterung kann höchstens so oft vorkommen wie jedes darin enthaltene Paar. Erreicht schon das Paar aus Lampe und Halterung den geforderten Mindest-Support nicht, kann der Algorithmus alle größeren Kombinationen mit diesem Paar überspringen.

Die Wahl der Schwelle beeinflusst, was du entdeckst. Bei einem Mindest-Support von 5 Prozent braucht eine Kombination in 1.000 Warenkörben mindestens 50 gemeinsame Käufe. Ein seltenes, teures Ersatzteil fällt dann möglicherweise aus der Auswertung, obwohl jeder passende Verkauf für den Händler interessant wäre. Für solche Artikel kann sich eine eigene Analyse innerhalb der passenden Produktgruppe lohnen. Die Grundrate ist anschließend für diese Gruppe neu zu berechnen.

Sequenzanalyse

Bei der Sequenzanalyse zählt die Reihenfolge der Ereignisse. Wer zuerst nach einer Montageanleitung sucht und später ein Ersatzteil bestellt, erzeugt eine andere Sequenz als jemand, der nach der Bestellung die Anleitung öffnet. Dieselben zwei Ereignisse können deshalb auf verschiedene Bedürfnisse hindeuten.

Für diese Auswertung braucht jedes Ereignis einen Zeitstempel und eine Kennung, über die sich die Ereignisse derselben Sitzung oder demselben Vorgang zuordnen lassen. Lege auch das Zeitfenster fest. „Innerhalb derselben Sitzung“ beantwortet eine andere Frage als „innerhalb von vier Wochen“. Ein typisches Ergebnis wäre der Anteil der Sitzungen mit Anleitungsaufruf, in denen anschließend eine Ersatzteilbestellung erfolgte.

Clusteranalyse

Beim Clustering sucht ein Verfahren nach Gruppen von Beobachtungen mit ähnlichen Merkmalen. Ein Fahrradverleih könnte Stationen anhand der Zahl der Ausleihen und ihres zeitlichen Verlaufs gruppieren. Manche Stationen haben ihre höchste Nachfrage am Wochenende, andere an Werktagen am frühen Morgen. Solche Gruppen entstehen aus den gewählten Merkmalen und den verwendeten Ähnlichkeitsmaßen.

Welche Stationen zusammengehören, hängt von der Fragestellung ab. Für die Zahl der benötigten Räder sind absolute Ausleihzahlen wichtig. Für den Vergleich der Tagesprofile kannst du die Ausleihen je Stunde durch die gesamten Ausleihen der jeweiligen Station teilen. Dadurch lassen sich auch große und kleine Stationen mit einem ähnlichen Verlauf erkennen. Mehr zur Merkmalsauswahl und zu den Verfahren findest du im Beitrag zur Clusteranalyse.

Klassifikation

Bei der Klassifikation stehen die Zielkategorien vor dem Training fest. Für einen Kundendienst könnten das Lieferung, Rechnung und Rückgabe sein. Bereits bearbeitete Anfragen liefern Beispiele mit bekannter Zuordnung. Ein Entscheidungsbaum kann daraus Regeln lernen und anhand der Merkmale einer neuen Anfrage eine Kategorie vorhersagen.

Interessant wird die Prüfung bei seltenen Kategorien. Gehören 90 von 100 Anfragen zur Lieferung, erreicht ein Modell, das immer „Lieferung“ vorhersagt, bereits 90 Prozent richtige Antworten. Jede Rechnungsfrage und jede Rückgabe landet trotzdem an der falschen Stelle. Prüfe an separat zurückgehaltenen Anfragen, welche Kategorien das Modell miteinander verwechselt. Daraus ergibt sich, für welche Fälle eine automatische Weiterleitung sinnvoll ist.

Regression

Eine Regression schätzt einen Zahlenwert. Ein Händler möchte etwa wissen, wie viele Ersatzteile er nächste Woche bereitstellen sollte. Als Merkmale kommen bisherige Bestellungen, Jahreszeit und die zum Prognosezeitpunkt bekannten Aktionen infrage. Prüfe die Vorhersage an späteren Wochen und vergleiche sie mit einer einfachen Ausgangsregel, etwa der Bestellmenge der Vorwoche.

Beachte beim Training auch, was die Zahlen messen. War ein Ersatzteil drei Tage lang ausverkauft, unterschätzen die aufgezeichneten Verkäufe möglicherweise die Nachfrage. Eine Spalte zur Warenverfügbarkeit macht solche Zeiträume erkennbar. Wie sich geschätzte Zusammenhänge und Vorhersagen lesen lassen, erklärt die Regressionsanalyse.

Anomalieerkennung

Die Anomalieerkennung markiert Beobachtungen, die von einem erwarteten Muster abweichen. Ein Sensor an einer Maschine meldet ungewöhnlich hohe Schwingungen. Für die Auswertung ist entscheidend, was bei dieser Maschine unter vergleichbarer Last üblich ist. Ein Messwert kann im normalen Betrieb auffallen und beim Anfahren regelmäßig vorkommen.

Eine sinnvolle Vergleichsgruppe macht die Meldung für die Wartung genauer. Aus der markierten Abweichung entsteht ein konkreter Prüfauftrag mit Maschine, Zeitpunkt und Betriebszustand. Die Werkstatt kann anschließend festhalten, ob sie Verschleiß entdeckt hat oder ein lockerer Sensor die Messung erklärt.

Wie läuft ein Data-Mining-Projekt ab?

Das Vorgehensmodell CRISP-DM steht für Cross-Industry Standard Process for Data Mining. Seine sechs Phasen verbinden die fachliche Frage mit der Datenaufbereitung, Modellierung und Anwendung. Die Tabelle zeigt, was jede Phase für die Zubehör-Empfehlung bedeutet.

Im Projekt kannst du zu einer früheren Phase zurückkehren. Vielleicht fällt bei der Bewertung auf, dass unter derselben Artikelgruppe auch Lampen mit fest eingebautem Akku verkauft werden. Dann prüfst du die Produktzuordnung, bereitest die Transaktionsdaten erneut auf und berechnest die Regel für die tatsächlich kompatiblen Modelle. Der fachliche Blick auf das gefundene Muster verändert hier unmittelbar den nächsten Analyseschritt.

Wo wird Data Mining eingesetzt?

Handel und Produktempfehlungen

Bei einer Zubehör-Empfehlung stellt sich nach der Analyse eine praktische Frage. Soll der Shop jedem Lampenkäufer Batterien anzeigen? Wenn bereits passende Batterien im Warenkorb liegen oder das gewählte Modell per USB lädt, hätte der Hinweis wenig Wert. Eine brauchbare Empfehlung verbindet die gefundene Kaufregel mit dem aktuellen Warenkorb und den technischen Merkmalen des Produkts.

Wartung und Produktion

Ein Betrieb möchte wissen, ob bestimmte Sensormuster einer Störung vorausgehen. Dazu verbindet er historische Messreihen mit den Zeitpunkten dokumentierter Ausfälle. Entscheidend ist der Vorlauf. Ein Muster, das erst beim Stillstand auftritt, beschreibt den Ausfall möglicherweise sehr genau. Für die Wartungsplanung ist ein Signal wertvoller, das früh genug auftritt, um ein Ersatzteil zu bestellen. Die Bewertung richtet sich deshalb auch danach, wie viele Stunden zwischen Warnung und Ausfall liegen.

Kundenservice und Text Mining

Nach einer Produktänderung häufen sich Anfragen mit dem Wort „Laden“. Gemeint sein können das Aufladen des Akkus oder das Laden einer App. Beim Text Mining helfen benachbarte Wörter wie „Kabel“ und „Bildschirm“, solche Themen zu unterscheiden. Prüfe anschließend einige Originalnachrichten aus jedem gefundenen Themenbereich. So wird sichtbar, ob eine neue Anleitung zum Ladeanschluss fehlt oder die App bei einem bestimmten Schritt hängen bleibt.

Betrugserkennung

Ein Zahlungssystem kann ungewöhnliche Transaktionen für eine manuelle Prüfung auswählen. Der Nutzen hängt auch davon ab, wie viele unauffällige Vorgänge dabei im Prüfteam landen. Angenommen, ein System markiert 50 Transaktionen. Bei der Prüfung bestätigen sich fünf Betrugsfälle. Die Präzision dieser Auswahl beträgt 10 Prozent. Wie viele Betrugsfälle das System insgesamt entdeckt hat, lässt sich erst beurteilen, wenn auch Informationen über übersehene Fälle vorliegen. Beide Fragen sind für die Wahl einer Alarmschwelle relevant.

Welche Tools eignen sich für Data Mining?

Für eine Warenkorbanalyse reicht SQL, wenn du bestimmte Produktpaare zählen und ihre Kennzahlen berechnen möchtest. Python oder R eignen sich für wiederholbare Analysen mit vielen Kombinationen und für die Modellierung. Mit KNIME lassen sich Datenaufbereitung und Auswertung als visueller Workflow zusammenstellen.

Für das Fahrradbeispiel ist die kleinste sinnvolle Umsetzung eine Abfrage mit genau einer Beobachtung pro Bon. Lege für jeden Einkauf fest, ob er die Lampe und ob er die passenden Batterien enthält. Aus diesen beiden Merkmalen entstehen alle vier Felder der Kreuztabelle. So kannst du die Ergebnisse eines größeren Verfahrens später an einem überschaubaren Produktpaar von Hand nachvollziehen.