Karl Pearson und die Wahrscheinlichkeitsverteilung: Die Tatsache, dass beobachtbare Ereignisse nur zufällige Reflexionen sind

Charles Darwin erkannte die biologische Vielfalt als ein grundlegendes Element des Lebens an und machte sie zur Basis seiner Theorie vom „Überleben des Stärkeren“. Doch derjenige, der die grundlegende Natur statistischer Modelle als Erster erkannte und sah, wie sie sich von der deterministischen Wissenschaftsauffassung des 19. Jahrhunderts unterschieden, war der Brite Karl Pearson (1857–1936). In den 1870er Jahren verließ er in jungen Jahren England, um sein Postgraduiertenstudium in Politikwissenschaften in Deutschland fortzusetzen. Dort war er von den Arbeiten von Karl Marx beeindruckt und änderte die Schreibweise seines eigenen Namens in Karl, um seine Bewunderung für ihn auszudrücken. Er kehrte mit einem Doktortitel in Politikwissenschaften nach London zurück und verfasste zwei angesehene Bücher auf diesem Gebiet. Mitten im viktorianischen England hatte er den Mut, einen Debattierclub zu organisieren, in dem sich junge Männer und Frauen (ohne Aufsicht) trafen und die Gleichstellung der Geschlechter, inspiriert von den Salons der Oberschicht in der deutschen und französischen Gesellschaft, praktizierten. Dort diskutierten junge Frauen und Männer über die großen politischen und philosophischen Probleme der Welt. Diese Geschlechtergleichstellung habe ich auch auf meiner kürzlich beendeten Skandinavienreise beobachtet. Dass Pearson seine Frau in diesem Umfeld kennenlernte, lässt vermuten, dass es mehr als einen Grund für seine Motivation zur Gründung dieses Clubs gegeben haben könnte. Diese kleine soziale Initiative mag ein Beispiel dafür sein, wie man den originellen Geist von Karl Pearson und seine absolute Gleichgültigkeit gegenüber etablierten Traditionen verstehen kann.

Obwohl seine Promotion in Politikwissenschaften war, galten Pearsons Hauptinteressen der Wissenschaftsphilosophie und der Natur der mathematischen Modellierung. In den 1880er Jahren veröffentlichte er sein Buch „The Grammar of Science“, das mehrere Auflagen erlebte. In der Zeit vor dem Ersten Weltkrieg galt dieses Werk als eines der bedeutendsten Bücher über die Natur von Wissenschaft und Mathematik. Es war voller brillanter und origineller Einsichten und wurde als ein wichtiges Werk auf dem Gebiet der Wissenschaftsphilosophie angesehen. Es war in einem so einfachen und flüssigen Stil geschrieben, dass jeder es lesen und verstehen konnte. Man muss kein Mathematiker sein, um „The Grammar of Science“ zu lesen und zu verstehen. Obwohl das Buch seit über hundert Jahren existiert, sind die darin enthaltenen Einsichten und Ideen für einen Großteil der mathematischen Forschung des 21. Jahrhunderts immer noch gültig und haben ihre Richtigkeit für das Verständnis der Natur der Wissenschaft bis heute bewahrt.

Mit der Korrelationsformel, die ich in meinem Artikel letzte Woche erwähnte, war Galton einer revolutionären neuen Idee sehr nahe gekommen, die fast alle Wissenschaften des 20. Jahrhunderts verändern sollte. Doch es war sein Schüler Karl Pearson, der diese Idee zum ersten Mal in ihrer vollständigsten Form formulierte. Um diese revolutionäre Idee zu verstehen, müssen wir alle unsere Vorurteile über die Wissenschaft beiseitelegen. Wie uns oft gelehrt wird, geht es in der Wissenschaft um Messungen. 

Wir führen sorgfältige Messungen durch, um mathematische Formeln zu finden, die die Natur beschreiben. In der Schule lernen wir, dass die Strecke, die ein fallender Körper in einer bestimmten Zeit zurücklegt, mit einer Formel berechnet wird, die ein Symbol namens g enthält. Dieses g ist die Erdbeschleunigung. Es wird gelehrt, dass der Wert von g durch Experimente bestimmt werden kann. Doch was passiert, wenn ein Schüler eine Reihe von Experimenten durchführt, um den Wert von g zu bestimmen, indem er kleine Gewichte eine schiefe Ebene hinunterrollen lässt und misst, wie lange sie an verschiedenen Stellen der Rampe ankommen? Die Ergebnisse sind meist nicht korrekt. Je öfter der Schüler das Experiment wiederholt, desto verwirrter wird er, da die resultierenden g-Werte in verschiedenen Experimenten unterschiedlich ausfallen. Der Lehrer sagt, der Grund, warum die Schüler nicht zum richtigen Ergebnis gekommen seien, liege an Unaufmerksamkeit, Schlamperei oder dem Abschreiben falscher Zahlen. 

Was der Lehrer den Schülern jedoch nicht sagt, ist, dass alle Experimente unvollständig sein können und selbst der sorgfältigste Wissenschaftler selten die exakte Zahl erhält. Bei jedem Experiment treten kleine, unvorhersehbare und unbeobachtbare Fehler auf. Die Luft im Raum könnte zu warm sein, und das gleitende Gewicht könnte eine Mikrosekunde innehalten, bevor es zu gleiten beginnt. Sogar der leichte Luftzug eines vorbeifliegenden Schmetterlings könnte einen Einfluss haben. In Wirklichkeit ist das, was man aus einem Experiment erhält, eine Verteilung von Zahlen, die nicht exakt sind. Diese Zahlen können jedoch verwendet werden, um eine Annäherung an den wahren Wert zu erhalten. Diese Erklärung ist sehr wichtig. 

Nach Pearsons revolutionärem Denken betrachten wir die Ergebnisse von Experimenten nicht als sorgfältig gemessene Zahlen für sich genommen. Stattdessen sagen wir, dass sie ein Beispiel für eine Verteilung von Zahlen sind; um es mit einem anerkannten Begriff auszudrücken: Diese Ergebnisse sind Stichproben einer Verteilung. Diese Zahlenverteilung kann als mathematische Formel geschrieben werden, die die Wahrscheinlichkeit angibt, mit der eine beobachtete Zahl einen bestimmten Wert annimmt. „Welchen Wert eine Zahl in einem bestimmten Experiment annehmen wird, lässt sich nicht vorhersagen. Wir können nur über die Wahrscheinlichkeiten der Werte sprechen, nicht über ihre Gewissheit. Die Ergebnisse einzelner Experimente sind zufällig, in diesem Sinne sind sie unvorhersehbar. Statistische Modelle von Verteilungen ermöglichen es uns jedoch, die mathematische Natur dieser Zufälligkeit zu beschreiben.“

Pearson vertrat die Ansicht, dass die Messungen selbst eher eine Wahrscheinlichkeitsverteilung aufweisen als bloße Messfehler. Was auch immer wir messen, es ist eigentlich Teil einer Zufallsverteilung, und diese Wahrscheinlichkeiten werden durch eine Verteilungsfunktion definiert, die eine mathematische Funktion ist. Pearson entdeckte eine Reihe von Verteilungsfunktionen, die er „schiefe Verteilungen“ nannte und von denen er behauptete, dass sie jede Art von Streuung beschreiben könnten, die ein Wissenschaftler in Daten sehen könnte. Jede Verteilung in dieser Familie wird durch vier Zahlen definiert. Die Zahlen, die die Verteilungsfunktion definieren, sind keine „Zahlen“ im Sinne von Messwerten. Diese Zahlen sind nicht beobachtbar, können aber daraus abgeleitet werden, wie die Messungen verteilt sind. Diese Zahlen wurden später als „Parameter“ bezeichnet, was aus dem Griechischen stammt und „fast Messung“ bedeutet. Die vier Parameter, die eine Verteilung des Pearson-Systems vollständig definieren, sind:

1. Mittelwert – der zentrale Wert, um den die Messungen verteilt sind,

2. Standardabweichung – wie stark die Messungen um den Mittelwert gestreut sind,

3. Symmetrie – wie stark sich die Messungen nur auf einer Seite des Mittelwerts häufen,

4. Wölbung (Kurtosis) – zeigt an, wie weit seltene Messungen vom Mittelwert abweichen.

Mit Pearsons System der schiefen Verteilungen vollzog sich ein subtiler Wandel im Denken. Vor Pearson waren die „Dinge“, mit denen sich die Wissenschaft befasste, real und konkret. Kepler versuchte, die mathematischen Gesetze zu entdecken, die beschreiben, wie sich Planeten im Raum bewegen. Die Experimente von William Harvey versuchten zu bestimmen, wie Blut in den Venen und Arterien eines Tieres fließt. Die Chemie befasste sich mit Elementen und Verbindungen aus Elementen. Doch die „Planeten“, die Kepler zu verstehen versuchte, waren eigentlich eine Reihe von Zahlen, die die Positionen der flackernden Lichter am Himmel bestimmten, die die Beobachter auf der Erde sahen. Der genaue Weg des Blutes, das durch die Adern eines einzelnen Pferdes floss, unterschied sich von dem, was bei einem anderen Pferd oder einem Menschen zu sehen war. Niemand konnte eine Probe von reinem Eisen herstellen, aber es war bekannt, dass es ein Element war.

Pearson schlug vor, dass diese beobachtbaren Ereignisse nur zufällige Reflexionen seien. Das, was real war, war die Wahrscheinlichkeitsverteilung. Die wahren „Dinge“ der Wissenschaft sind nicht die Dinge, die wir beobachten und festhalten können, sondern die mathematischen Funktionen, die die Zufälligkeit dessen beschreiben, was wir beobachten können. 

Daher sind die vier Parameter einer Verteilung das, was wir in einer wissenschaftlichen Untersuchung wirklich bestimmen wollen. Tatsächlich können wir diese vier Parameter nicht wirklich bestimmen. Wir können sie nur aus den Daten schätzen. Pearson erkannte diesen letzten Unterschied nicht. Er glaubte, dass uns die Schätzungen der Parameter die wahren Werte der Parameter liefern würden, wenn wir genügend Daten sammeln würden. Dabei können wir uns nur annähern. Wir können es nicht mit Sicherheit wissen. Sein junger Rivale Ronald Aylmer Fisher trat auf den Plan, um zu zeigen, dass viele von Pearsons Schätzmethoden nicht optimal waren. Ich werde in einem anderen Artikel über ihn berichten. Als sich Karl Pearson Ende der 1930er Jahre dem Ende seines langen Lebens näherte, zeigte der junge polnische Mathematiker Jerzy Neyman, dass Pearsons System der schiefen Verteilungen nicht das Universum aller möglichen Verteilungen abdeckte und dass viele wichtige Probleme mit dem Pearson-System nicht gelöst werden konnten. Genau so ist der Fortschritt der Wissenschaft. Er schreitet immer voran, indem er auf vorhandenem Wissen aufbaut.