Zur Untermauerung der Leistungsfähigkeit werden von Unternehmen gerne Erfolge der Vergangenheit herangezogen. Warum Sie sich immer genau erzählen lassen sollten, wie die zugrunde liegende Stichprobe zustande gekommen ist, erklärt der heutige Blogbeitrag.

Nehmen wir an, dass ein Versuch mit einer Wahrscheinlichkeit p zu einem Erfolg führt und mit 1-p zu einem Misserfolg – wir haben hier dann ein Bernoulli-Experiment mit Erfolgswahrscheinlichkeit p vorliegen. Ein solcher Versuch könnte beispielsweise ein Belastungstest eines Bauteils sein – entweder hält das Teil („Erfolg“) oder eben nicht („Misserfolg“). In unserem Beispiel sei p = 0.5 und es wurden 15 solcher Versuche nacheinander durchgeführt.

Die möglichen Entwicklungen der Erfolgsquoten

Die dargestellten Gitterlinien zeigen alle möglichen Zeitverläufe von Erfolgsquoten (bitte klicken Sie auf die Grafik für eine vergrößerte Darstellung!). Zwei mögliche Verläufe haben wir farbig gekennzeichnet. Steht 1 für Erfolg und 0 für Misserfolg, so entsteht beispielsweise der grüne Verlauf für die Sequenz 1 – 0 – 1 – 0 – 1 – 1 – 1 – 1 – 1 – 1 – 0 – 0 – 1 – 0 – 1 – 1. Wenn die bisherige Erfolgsquote größer als null und kleiner als eins ist, gilt das Folgende: Immer wenn ein Erfolg eingetreten ist, steigt die bis dahin ermittelte Erfolgsquote, bei einem Misserfolg sinkt sie.

Die Wahrscheinlichkeitsverteilung der Erfolge X am Ende der Versuchsreihe ergibt sich über eine Binomialverteilung mit Parametern n = 15 und p = 0.5:

Formel der Binomialverteilung

Aus dieser Formel folgt aus Symmetriegründen und weil n = 15 ungerade ist, dass die Wahrscheinlichkeit, mit der empirischen Erfolgsquote am Ende über 0.5 zu landen genauso groß ist wie darunter, nämlich jeweils 50 %.

Zu der bereits genannten Sequenz gehört die fortlaufende Folge der kumulierten Erfolgsquoten 1/1 – 1/2 – 2/3 – 2/4 – 3/5 – 4/6 – 5/7 – 6/8 – 7/9 – 7/10 – 7/11 – 8/12 – 8/13 – 9/14 – 10/15. Sollte die Anzahl der Versuche vorher mit n = 15 fixiert worden sein, so ist die zu übermittelnde Erfolgsquote mit 10/15 ~ 66.7 % gegeben.

In der Rückschau fällt auf, dass nach einem Versuch die Erfolgsquote sogar 100 % und nach neun Versuchen immerhin 7/9 ~ 77.8 % betragen hatte. Wir nehmen hier an, dass eine gewisse Mindestanzahl von Versuchen vorliegen sollte, etwa um den Trivialfall der Erfolgsquote von 100 % nach einem einzigen Versuch auszuschließen. Diese Mindestanzahl sei hier durch 10 gegeben. In der Nachbetrachtung wäre es bei einem Mindestmaß krimineller Energie möglich, die Ergebnisse nach Versuch 10 zu ignorieren und lieber die Erfolgsquote 7/10 ~ 70 % bis zu diesem Zeitpunkt zu erwähnen.

Diese „Strategie“ ähnelt Verlautbarungen der Art, „zu den 10 größten Unternehmen“ auf einem Sektor zu gehören – hier ist jedem Leser klar, dass das betrachtete Unternehmen exakt auf Platz 10 steht. Diese plumpe Form der Manipulation sei noch einmal an einem Beispiel illustriert. Hier ist n = 200 und p = 0.5 und der nachfolgende Plot zeigt für vier Durchläufe die jeweils maximale Erfolgsquote unter der Annahme, dass mindestens zehn Versuche durchgeführt werden.

Maximale Quote bei einer Mindestanzahl von zehn Versuchen

Mittels dieser Vorgehensweise wird bei den gegebenen Rahmendaten im Durchschnitt eine Erfolgsquote von ca. 0.61 ausgegeben, obwohl diese in Wirklichkeit genau 0.5 beträgt.

Es wäre natürlich äußerst peinlich, bei der Unterschlagung nicht so prickelnder Resultate ertappt worden zu sein. Gibt es eine raffiniertere Vorgehensweise, bei der der Täuschungsversuch nicht so offensichtlich ist?

Wir betrachten nun die Möglichkeit, dass die Gesamtanzahl der Versuche nicht im Voraus festgelegt wird. Weiterhin nehmen wir an, dass ein Versuch auch nicht besonders lange dauert, sodass im Prinzip beliebig viele Versuche durchgeführt werden können. Die Idee ist nun, solange Versuche durchzuführen, bis das Ergebnis „genehm“ ist.

Das Gesetz der großen Zahl besagt, dass die Erfolgsquote sich bei 50 % einpendeln wird, wenn die Versuche immer weitergeführt werden. Sollte also zwischenzeitlich ein Wert < 50 % erzielt werden, so ist die Abhilfe einfach in der Fortsetzung der Versuchsreihe gegeben. Irgendwann werden die 50 % erreicht werden.

Mittels Methoden der Dynamischen Programmierung lässt sich ein optimales Verhalten ableiten. Wir gehen nun von einer maximalen Anzahl von 200 Versuchen aus. Sollte man tatsächlich 200 Versuche durchgeführt haben, muss die erhaltene Erfolgsquote akzeptiert werden. Nun lässt sich in einer Rückwärtsiteration (199, 198,…,1) für jede mögliche Konstellation entscheiden, ob zum gegebenen Zeitpunkt eine vorliegende Erfolgsquote („Spatz in der Hand“) akzeptiert oder lieber ein weiterer Versuch durchgeführt werden sollte, da dann die erwartete Erfolgsquote („Taube auf dem Dach“) höher ist.

So hangelt man sich rückwärts Schritt für Schritt bis zum Ausgangspunkt und kann die Mindestanzahl der Erfolge errechnen, bei der man die Versuchsreihe abbrechen sollte, da weitere Versuche die erwartete Quote nicht über den momentanen Wert steigen ließen. Für die ersten 15 Versuche sind die Mindestanzahlen (in Blau) in der folgenden Grafik dargestellt:

Mindestanzahlen für Abbruch der Versuchsreihe in Blau

Die Folge der Mindestanzahlen der Erfolge ist monoton steigend (aber nicht streng monoton: aufeinanderfolgende Zahlen können identisch sein). Anders sieht es aus, wenn die Mindesterfolgsquoten betrachtet werden. Diese haben zwar eine fallende Tendenz und werden sich der 0.5 annähern, sehen aber lokal durchaus zittrig aus. Hier sind sie in der Grafik von oben eingezeichnet:

Mindesterfolgsquoten in Blau

Wird eine Mindestanzahl von 10 Versuchen angenommen, wäre die grüne Versuchsreihe auch bereits mit dem 10. Versuch abgebrochen worden, da die Mindesterfolgsanzahl von 7, bzw. die Mindestquote von 0.7 haarscharf erzielt wurde. Die rote Versuchsreihe wäre aber über den 15. Versuch hinaus weiter fortgeführt worden.

Für die vier Reihen aus dem anderen Beispiel von oben hätten sich die folgenden Resultate ergeben:

Abbruch bei Erfüllung der Mindestquote (in Grün)

In den beiden unteren Fällen wurde bereits nach 10 Versuchen mit einer Erfolgsquote von 0.7 abgebrochen, die beiden oberen Beispiele brauchen etwas länger. Je mehr Versuche bereits durchgeführt wurden, desto bescheidener werden die Ansprüche an die bisherige Erfolgsquote. Für große n reicht dann auch ein Wert, der sich nur knapp über der 0.5 befindet.

Man kann nun von seinen Erfolgen berichten, ohne Misserfolge verschweigen zu müssen. Mit dieser Strategie beträgt bei diesem Beispiel die erwartete übermittelte Erfolgsquote etwa 0.58.

Ergo sollte immer nachgehakt werden, ob die Anzahl der Versuche von vornherein feststand oder nicht!

Übrigens wäre das strategische Vorgehen absolut identisch, wenn Sie eine faire Münze mindestens 10-mal und höchstens 200-mal werfen dürften, dazwischen jederzeit aufhören könnten und als Belohnung eine Geldsumme erhielten, die sich proportional zum Anteil der Zahl-Würfe verhält.