Data Mining erklärt

Vorteile von Data Mining

• Automatisierte Entscheidungsfindung

  Data Mining ermöglicht es Organisationen, fortlaufend Daten zu analysieren und routinemäßige sowie kritische Entscheidungen zu automatisieren, ohne die Verzögerungen durch menschliche Einschätzungen. Banken können betrügerische Transaktionen sofort erkennen, Überprüfungen anfordern und sogar persönliche Daten sichern, um Kunden vor Identitätsdiebstahl zu schützen. Diese Modelle werden innerhalb der Betriebsalgorithmen eines Unternehmens eingesetzt und können Daten unabhängig sammeln, analysieren und darauf reagieren, um die Entscheidungsfindung zu rationalisieren und die täglichen Prozesse einer Organisation zu verbessern.

• Genaue Vorhersage und Prognose

  Planung ist ein kritischer Prozess in jeder Organisation. Data Mining erleichtert die Planung und liefert Managern verlässliche Prognosen, die auf vergangenen Trends und aktuellen Bedingungen basieren. Macy’s implementiert Modelle für die Bedarfsprognose, um die Nachfrage für jede Bekleidungskategorie in jedem Geschäft vorherzusagen und den entsprechenden Bestand zu leiten, damit die Marktanforderungen effizient erfüllt werden.

• Kostensenkung

  Data Mining ermöglicht eine effizientere Verwendung und Zuordnung von Ressourcen. Organisationen können mit genauen Prognosen automatisierte Entscheidungen planen und treffen, die zu einer maximalen Kostenreduzierung führen. Delta bettete RFID-Chips in das aufgegebene Gepäck von Passagieren ein und implementierte Data-Mining-Modelle, um Lücken in ihrem Prozess zu identifizieren und die Anzahl der unsachgemäß behandelten Gepäckstücke zu reduzieren. Diese Prozessverbesserung erhöht die Zufriedenheit der Passagiere und senkt die Kosten für die Suche und Weiterleitung verlorener Gepäckstücke.

• Kundenerkenntnisse

  Unternehmen setzen Data-Mining-Modelle aus Kundendaten ein, um wichtige Merkmale und Unterschiede zwischen ihren Kunden aufzudecken. Data Mining kann verwendet werden, um Rollen zu erstellen und jeden Kontaktpunkt zu personalisieren, was die allgemeine Kundenerfahrung verbessert. Im Jahr 2017 investierte Disney über eine Milliarde US-Dollar in die Entwicklung und Implementierung von „Magic Bands“. Diese Bänder haben eine symbiotische Beziehung zu den Konsumenten. Sie arbeiten daran, die allgemeine Erfahrung der Kunden im Resort zu verbessern, während sie gleichzeitig Daten über ihre Aktivitäten sammeln, die Disney analysiert, um das Kundenerlebnis zu verbessern.

Herausforderungen des Data Mining

Data Mining ist zwar ein leistungsstarker Prozess, wird jedoch durch die zunehmende Menge und Komplexität von Big Data behindert. Wo täglich Exabytes an Daten von Unternehmen gesammelt werden, benötigen die Entscheidungsträger eine Möglichkeit, Daten aus ihren umfangreichen Datenbeständen zu extrahieren, zu analysieren und Einsicht zu gewinnen.

• Big Data

  Die Herausforderungen von Big Data sind vielfältig und dringen in jedes Feld vor, in dem Daten erfasst, gespeichert und analysiert werden. Big Data zeichnet sich durch vier große Herausforderungen aus: Volumen, Vielfalt, Richtigkeit und Schnelligkeit. Das Ziel des Data Mining besteht darin, diese Herausforderungen zu vermitteln und den Wert der Daten zu erschließen.

  Volumen beschreibt die Herausforderung, die enorme Datenmenge, die von Organisationen gesammelt wird, zu speichern und zu verarbeiten. Diese enorme Datenmenge stellt zwei große Herausforderungen dar: Erstens ist es schwieriger, die richtigen Daten zu finden, und zweitens verlangsamt es die Verarbeitungsgeschwindigkeit der Data-Mining-Tools.

  Vielfalt umfasst die vielen verschiedenen Arten von Daten, die gesammelt und gespeichert werden. Data-Mining-Tools müssen so ausgestattet sein, dass sie gleichzeitig eine Vielzahl von Datenformaten verarbeiten können. Wenn sie die Analyse nicht auf strukturierte und unstrukturierte Daten fokussieren können, wird die Wertschöpfung durch Data Mining verhindert.

  Schnelligkeit beschreibt die zunehmende Geschwindigkeit, mit der neue Daten erstellt, gesammelt und gespeichert werden. Während sich Volumen auf steigende Speicheranforderungen bezieht und Vielfalt auf steigende Datentypen, ist Schnelligkeit die Herausforderung, die mit der schnell zunehmenden Datenerzeugungsrate verbunden ist.

  Schließlich bestätigt Richtigkeit, dass nicht alle Daten gleichermaßen genau sind. Daten können unordentlich, unvollständig, unzulässig erfasst und sogar voreingenommen sein. Je schneller Daten erfasst werden, desto mehr Fehler treten in den Daten auf. Die Herausforderung der Richtigkeit besteht darin, die Datenmenge mit ihrer Qualität in Einklang zu bringen.

• Überanpassung von Modellen

  Eine Überanpassung tritt auf, wenn ein Modell die natürlichen Fehler innerhalb der Stichprobe anstelle der zugrunde liegenden Trends der Grundgesamtheit erklärt. Übermäßig angepasste Modelle sind oft zu komplex und verwenden eine Vielzahl unabhängiger Variablen, um eine Vorhersage zu erstellen. Das Risiko einer Überanpassung wird daher durch die Zunahme des Volumens und der Datenvielfalt erhöht. Durch zu wenige Variablen wird das Modell irrelevant, wohingegen zu viele Variablen das Modell auf die bekannten Beispieldaten beschränken. Die Herausforderung besteht darin, die Anzahl der in Data-Mining-Modellen verwendeten Variablen zu mäßigen und ihre Vorhersagekraft mit Genauigkeit in Einklang zu bringen.

• Skaleneffekt

  Da die Datengeschwindigkeit die Datenmenge und -vielfalt weiter erhöht, müssen die Unternehmen diese Modelle skalieren und im gesamten Unternehmen anwenden. Um die vollen Vorteile des Data Mining mit diesen Modellen zu nutzen, sind erhebliche Investitionen in die Datenverarbeitungsinfrastruktur und die Rechenleistung erforderlich. Um die Größenordnung zu erreichen, müssen Unternehmen leistungsstarke Computer, Server und Software erwerben und warten, die für die große Menge und Vielfalt der Daten des Unternehmens konzipiert sind.

• Datenschutz und Sicherheit

  Der erhöhte Speicherbedarf von Daten hat viele Unternehmen gezwungen, sich in Richtung Cloud-Computing und -Speicher zu bewegen. Während die Cloud viele moderne Fortschritte im Bereich des Data Mining ermöglicht hat, führt die Art des Services zu erheblichen Datenschutz- und Sicherheitsbedrohungen. Unternehmen müssen ihre Daten vor bösartigen Zahlen schützen, um das Vertrauen ihrer Partner und Kunden zu wahren.

  Mit dem Datenschutz müssen Organisationen interne Regeln und Beschränkungen für die Verwendung und Implementierung von Kundendaten entwickeln. Data Mining ist ein leistungsfähiges Instrument, das Unternehmen interessante Einblicke in ihre Konsumenten bietet. An welchem Punkt verletzen diese Einblicke jedoch die Privatsphäre einer Person? Organisationen müssen diese Beziehung zu ihren Kunden abwägen, Richtlinien zum Nutzen der Konsumenten entwickeln und ihnen diese mitteilen, um eine vertrauensvolle Beziehung zu pflegen.

Arten von Data Mining

Data Mining hat zwei Hauptprozesse: überwachtes und unüberwachtes Lernen.

• Überwachtes Lernen

  Ziel des überwachten Lernens ist die Vorhersage oder Klassifizierung. Der einfachste Weg, diesen Prozess zu gestalten, besteht darin, nach einer einzelnen Ausgangsgröße zu suchen. Ein Prozess wird als überwachtes Lernen betrachtet, wenn das Ziel des Modells darin besteht, den Wert einer Beobachtung vorherzusagen. Ein Beispiel sind Spam-Filter. Sie verwenden das überwachte Lernen, um eingehende E-Mails bezüglich unerwünschten Inhalten zu klassifizieren und diese Nachrichten automatisch aus Ihrem Posteingang zu entfernen.

  Übliche analytische Modelle, die in überwachten Data-Mining-Ansätzen verwendet werden, sind:

  • Lineare Regressionen

    Lineare Regressionen prognostizieren den Wert einer stetigen Variablen mithilfe einer oder mehrerer unabhängiger Eingaben. Immobilienmakler verwenden lineare Regressionen, um den Wert eines Hauses basierend auf Quadratmeterzahl, Bett-zu-Bad-Verhältnis, Baujahr und Postleitzahl vorherzusagen.

  • Logistische Regressionen

    Logistische Regressionen prognostizieren die Wahrscheinlichkeit einer kategorischen Variablen anhand einer oder mehrerer unabhängiger Eingaben. Banken nutzen logistische Regressionen, um die Wahrscheinlichkeit eines Zahlungsausfalls eines Kreditbewerbers, basierend auf Kreditwürdigkeit, Haushaltseinkommen, Alter und anderen persönlichen Faktoren, vorherzusagen.

  • Zeitreihen

    Zeitreihenmodelle sind Prognosewerkzeuge, die Zeit als primäre unabhängige Variable verwenden. Einzelhändler wie Macy’s setzen Zeitreihenmodelle ein, um die Nachfrage nach Produkten als Funktion der Zeit vorherzusagen und die Prognose zur genauen Planung und Bevorratung der Filialen mit dem erforderlichen Lagerbestand zu verwenden.

  • Klassifizierungs- oder Regressionsbäume

    Klassifizierungsbäume sind eine vorhersagende Modellierungstechnik, mit der der Wert von kategorischen und kontinuierlichen Zielvariablen vorhergesagt werden kann. Basierend auf den Daten erstellt das Modell Sätze binärer Regeln, um den höchsten Anteil ähnlicher Zielvariablen zu teilen und zu gruppieren. Nach diesen Regeln wird die Gruppe, in die eine neue Beobachtung fällt, zu ihrem vorhergesagten Wert.

  • Neuronale Netzwerke

    Ein neuronales Netzwerk ist ein analytisches Modell, das sich an der Struktur des Gehirns, seiner Neuronen und ihrer Verbindungen orientiert. Diese Modelle wurden ursprünglich in den 1940er Jahren entwickelt, sind jedoch erst seit kurzem bei Statistikern und Datenwissenschaftlern beliebt. Neuronale Netzwerke verwenden Eingaben und werden, abhängig von ihrem Ausmaß, ihren Knoten basierend auf seiner Schwellenwertanforderung „feuern“ oder „nicht feuern“. Dieses Signal oder dessen Fehlen wird dann mit den anderen abgegebenen Signalen in den verborgenen Schichten des Netzwerks kombiniert, wo sich der Prozess wiederholt, bis eine Ausgabe erstellt wird. Da einer der Vorteile von neuronalen Netzwerken eine nahezu augenblickliche Ausgabe ist, setzen selbstfahrende Fahrzeuge diese Modelle ein, um Daten präzise und effizient zu verarbeiten und kritische Entscheidungen zu treffen.

  • K-Nächster-Nachbar

    Die K-Nächster-Nachbar-Methode wird verwendet, um eine neue Beobachtung basierend auf früheren Beobachtungen zu kategorisieren. Im Gegensatz zu den vorherigen Methoden ist K-Nächster-Nachbar datengesteuert, nicht modellgesteuert. Diese Methode macht keine zugrundeliegenden Annahmen über die Daten und verwendet keine komplexen Prozesse zur Interpretation ihrer Eingaben. Die Grundidee des K-Nächster-Nachbar-Modells besteht darin, dass neue Beobachtungen klassifiziert werden, indem die nächstgelegenen K-Nachbarn identifiziert und dem Mehrheitswert zugewiesen werden. Viele Empfehlungssysteme verschachteln diese Methode, um ähnliche Inhalte zu identifizieren und zu klassifizieren, die später vom größeren Algorithmus gezogen werden.

• Unüberwachtes Lernen

  Unüberwachtes Lernen konzentriert sich darauf, Daten zu verstehen und zu beschreiben, um die zugrundeliegenden Muster darin aufzudecken. Empfehlungssysteme verwenden das unüberwachte Lernen, um die Benutzermuster zu verfolgen und ihnen personalisierte Empfehlungen zu geben, wodurch die Kundenerfahrung verbessert wird.

  Übliche analytische Modelle, die in unüberwachten Data-Mining-Ansätzen verwendet werden, sind:

  • Clustering

    Clustering-Modelle fassen ähnliche Daten zusammen. Sie eignen sich am besten für komplexe Datensätze, die eine einzelne Einheit beschreiben. Ein Beispiel ist die Ähnlichkeitsmodellierung, um Ähnlichkeiten zwischen Segmenten zu gruppieren, Cluster zu identifizieren und neue Gruppen anzusprechen, die wie eine vorhandene Gruppe aussehen.

  • Assoziationsanalyse

    Die Assoziationsanalyse wird auch als Warenkorbanalyse bezeichnet und dient zur Identifizierung von Elementen, die häufig zusammen vorkommen. Supermärkte verwenden dieses Tool im Allgemeinen, um Produktpaare zu identifizieren und im Laden zu verbreiten, damit Kunden dazu bewegt werden, mehr Waren zu passieren und ihre Einkäufe zu steigern.

  • Hauptkomponentenanalyse

    Die Hauptkomponentenanalyse wird verwendet, um versteckte Korrelationen zwischen Eingabevariablen zu veranschaulichen und neue Variablen zu erstellen, die als Hauptkomponenten bezeichnet werden und dieselben Informationen erfassen, die in den ursprünglichen Daten enthalten sind, jedoch weniger Variablen enthalten. Durch die Verringerung der Anzahl von Variablen, die zum Übertragen der gleichen Informationen verwendet werden, können Analysten den Nutzen und die Genauigkeit der überwachten Data-Mining-Modelle erhöhen.

• Ansätze des überwachten und unüberwachten Lernens in der Praxis

  Sie können jeden Ansatz unabhängig voneinander verwenden. In der Analyse werden jedoch beide Methoden verwendet. Jeder Ansatz hat einzigartige Vorteile und erhöht die Belastbarkeit, Stabilität und den Nutzen von Data-Mining-Modellen. Überwachte Modelle können von der Verschachtelung von Variablen profitieren, die von nicht überwachten Methoden abgeleitet werden. Mit einer Clustervariablen innerhalb eines Regressionsmodells können Analysten beispielsweise redundante Variablen aus dem Modell entfernen und ihre Genauigkeit verbessern. Da unüberwachte Ansätze die zugrundeliegenden Beziehungen innerhalb von Daten offenlegen, sollten Analysten die Erkenntnisse aus unüberwachtem Lernen nutzen, um ihre überwachte Analyse zu unterstützen.

Data-Mining-Trends

• Sprachstandardisierung

  Ähnlich wie SQL sich zu einer herausragenden Sprache für Datenbanken entwickelt hat, fordern Benutzer eine Standardisierung des Data Mining. Mit diesem Vorstoß können Benutzer bequem mit vielen verschiedenen Mining-Plattformen interagieren und müssen nur eine Standardsprache lernen. Zwar zögern Entwickler noch, diese Änderung vorzunehmen, aber immer mehr Benutzer unterstützen sie. Wir können erwarten, dass in den nächsten Jahren eine Standardsprache entwickelt wird.

• Wissenschaftliches Data Mining

  Mit seinem nachweisbaren Erfolg in der Geschäftswelt wird Data Mining auch in der wissenschaftlichen und akademischen Forschung eingesetzt. Psychologen verwenden heute die Assoziationsanalyse, um breitere Muster menschlichen Verhaltens zu ermitteln und zu identifizieren, um ihre Forschung zu unterstützen. In ähnlicher Weise setzen Ökonomen Prognosealgorithmen ein, um zukünftige Marktveränderungen, basierend auf heutigen Variablen, vorherzusagen.

• Komplexe Datenobjekte

  Durch die Ausweitung des Data Mining auf andere Abteilungen und Bereiche werden neue Methoden entwickelt, um immer vielfältigere und komplexere Daten zu analysieren. Google experimentierte mit einem visuellen Suchwerkzeug, mit dem Nutzer eine Suche mit einem Bild anstelle von Text durchführen können. Data-Mining-Tools können nicht mehr nur Text und Zahlen aufnehmen, sondern müssen die Fähigkeit haben, eine Vielzahl komplexer Datentypen zu verarbeiten und zu analysieren.

• Erhöhte Rechengeschwindigkeit

  Mit zunehmender Datengröße, Komplexität und Vielfalt erfordern Data-Mining-Tools schnellere Computer und effizientere Methoden zur Datenanalyse. Jede neue Beobachtung fügt einer Analyse einen zusätzlichen Berechnungszyklus hinzu. Mit der exponentiellen Zunahme der Datenmenge steigt auch die Anzahl der zur Verarbeitung der Daten erforderlichen Zyklen. Statistische Verfahren wie das Clustering wurden entwickelt, um einige tausend Beobachtungen mit einem Dutzend Variablen effizient zu verarbeiten. Da Organisationen jedoch Millionen neuer Beobachtungen mit Hunderten von Variablen sammeln, können die Berechnungen für viele Computer zu komplex werden. Mit dem wachsenden Datenvolumen werden schnellere Computer und effizientere Methoden benötigt, die auf die für die Analyse erforderliche Rechenleistung abgestimmt sind..

• Web mining

  Mit der Erweiterung des Internets ist es für Organisationen von großem Nutzen, Muster und Trends in der Nutzung aufzudecken. Web Mining verwendet die gleichen Techniken wie Data Mining und wendet sie direkt im Internet an. Die drei Haupttypen von Web Mining sind Content Mining, Struktur Mining und Usage Mining. Online-Einzelhändler wie Amazon nutzen Web Mining, um zu verstehen, wie Kunden auf ihrer Webseite navigieren. Aufgrund dieser Erkenntnisse kann Amazon seine Plattform umstrukturieren, um die Kundenerfahrung zu verbessern und die Einkäufe zu steigern.

  Die Verbreitung von Webinhalten war der Auslöser für das World Wide Web Consortium (W3C), Standards für das semantische Web einzuführen. Dies bietet eine standardisierte Methode zur Verwendung gebräuchlicher Datenformate und zum Austausch von Protokollen im Web. Dadurch werden Daten einfacher freigegeben, wiederverwendet und in Regionen und Systemen angewendet. Diese Standardisierung erleichtert das Abbauen großer Datenmengen für die Analyse.

Data-Mining-Tools

Data-Mining-Lösungen haben sich verbreitet. Daher ist es wichtig, Ihre spezifischen Ziele genau zu verstehen und diese mit den richtigen Tools und Plattformen abzustimmen.