Datenmängel
Gefährliche Mängel: Wenn Datenlücken sowohl Leben als auch Geschäft kosten können
Unter 2. Im Ersten Weltkrieg war es nicht ungewöhnlich, dass britische Bomber in einer etwas lochigeren Version von ihren Einsätzen zurückkehrten als beim Start. Kugeln hatten sich in den Rumpf gebeugt, und die weisen Köpfe am Boden begannen sofort zu analysieren, wo der Schaden am schlimmsten war.
Der Plan war unkompliziert: Die Orte, an denen die Flugzeuge getroffen worden waren, verstärken – und zukünftige Flugzeuge hätten bessere Überlebenschancen. Genial, oder?
Nein.
Weil sie etwas ganz Wichtiges vergessen hatten: Was ist mit den Flugzeugen, die nicht nach Hause kamen? Die Flugzeuge, die die entscheidenden Schüsse abgaben, es aber nie zurück zum Stützpunkt schafften? Sie wurden nicht in die Analyse einbezogen, da sie bereits auf einem Feld in Frankreich oder am Fuße des Ärmelkanals zerschmettert wurden.
Was sie für die Antwort hielten, war in Wirklichkeit ein riesiger blinder Fleck. Und genau das ist der Fehler, den Unternehmen auch heute noch machen, wenn sie Entscheidungen auf der Grundlage unvollständiger Daten treffen.
(Wenn Sie sich bis in die Geschichte hinein vertiefen möchten, können Sie hier mehr lesen: Trevor Bragdon: Wenn Daten die falsche Lösung liefern)
Fehlende Daten sind teuer
Das Problem ist dann heute genau das gleiche: Wir treffen Entscheidungen auf der Grundlage der Daten, die wir haben –, aber wir vergessen zu fragen: Was ist mit den Daten, die wir nicht haben?
Yahoo beging einen der größten Brüller in der Technologiegeschichte, als es sich weigerte, Google zu kaufen. Sie untersuchten die ihnen vorliegenden Daten und kamen zu dem Schluss, dass Suchmaschinen keine große Sache seien. Eine teure Entscheidung, die gezeigt hat, wie gefährlich es sein kann, die Daten zu übersehen, die man nicht hat.
Für viele Unternehmen sind die Kunden, die sie nicht haben, mindestens genauso wichtig wie die, die sie haben. Aber wie viel wissen sie wirklich über sie? Die Antwort lautet oft: gruselig wenig. Wenn nie Daten gesammelt werden, segelt man blind – hinein und das kann katastrophale Folgen haben.
Stellen Sie sich vor, Ihr Unternehmen ist ein Schiff, das durch eisgefüllte Gewässer fährt, ohne Informationen über Eisberge zu haben. Ohne dieses Wissen können selbst kleine Fehler zu großen Katastrophen führen. Dies ist nicht nur ein Problem für Unternehmen, sondern auch für Forscher und Analysten, die ständig mit unvollständigen Datensätzen navigieren müssen.
Fehlende Daten treten auf unterschiedliche Weise auf:
- Zufällig fehlende Daten (MAR)
Daten fehlen, aber es gibt ein System. Beispielsweise verfügen wir nicht über CPR-Nummern aus der Zeit vor 1968, da das zentrale Personenregister nicht existierte. Diese Mängel lassen sich oft mathematisch kompensieren. - Völlig zufällige fehlende Daten (MCAR)
Hier ist das Fehlen von Daten völlig zufällig und hängt nicht mit den fehlenden Werten zusammen. - Nicht zufällig fehlende Daten (MNAR)
Dies ist die gefährlichste Kategorie. Hier fehlen Daten in einer Weise, die mit den unbeobachteten Daten zusammenhängt. Mit anderen Worten, wir wissen nicht, was uns entgeht – und es kann teuer sein.
Zu verstehen, warum Daten fehlen, ist der erste Schritt, um die Lücken zu schließen. Wenn wir die versteckten Mängel lokalisieren, können wir die Fehler von Yahoo nicht einfach vermeiden – wir können neue Möglichkeiten entdecken, die sonst unsichtbar wären.
Schweizerost-Dilemma
In Wirklichkeit sind die meisten Datensätze mit Löchern gefüllt wie ein klassischer Schweizer Käse. Es ist unsere Aufgabe, diese Lücken zu identifizieren, zu verstehen, warum sie da sind, und herauszufinden, was wir dagegen tun können. Fehlende Daten zu ignorieren kann wie durch den Nebel zu navigieren sein: Ohne klare Richtung laufen wir Gefahr, uns zu verlaufen.
Daher ist es an der Zeit, den fehlenden Daten die Aufmerksamkeit zu schenken, die sie verdienen.
In meiner Karriere im Bereich Business Intelligence habe ich noch nicht an einem Kundentreffen teilgenommen, bei dem es um die Daten ging, die wir nicht haben.
Ist es nicht an der Zeit, dass wir anfangen, die richtigen Fragen zu stellen?
Vielleicht können wir hoffen, dass sich das bald ändert.