Superforecasting: The Art and Science of Prediction
Aus Superforecasting habe ich gelernt, dass gute Prognosen keine Frage von Genie oder Expertenstatus sind, sondern von Methode. Philip Tetlock hat Tausende Freiwillige gegen die Profis antreten lassen, und eine kleine Gruppe ganz normaler Leute hat am Ende sogar Geheimdienstanalysten mit Zugang zu geheimen Informationen geschlagen. Was ich mitnehme: Wer Wahrscheinlichkeiten in Zahlen ausspricht, sich messen lässt und seine Meinung in kleinen Schritten korrigiert, sieht weiter als jeder Experte mit einer grossen Theorie.
In meiner Arbeit als digitaler Beirat und mit CTRL+ALT+LEAD ist das Buch heute aktueller als bei seinem Erscheinen 2015. Jede KI-Entscheidung im Unternehmen ist eine Prognose: Bringt dieses Projekt Wert? Skalieren wir oder stoppen wir? Trotzdem höre ich in Vorstandsrunden fast nur Sätze wie „gute Chancen“ oder „erhebliches Potenzial“. Tetlock zeigt, warum solche Sätze gefährlich sind und was Führungsteams stattdessen tun können.
Das habe ich gelernt
Der durchschnittliche Experte prognostiziert ungefähr so gut wie ein Schimpanse, der Dartpfeile wirft. Das ist kein Witz, sondern das Ergebnis von Tetlocks 20-Jahres-Studie mit fast 300 Experten und rund 28.000 Prognosen. Die gute Nachricht kommt danach: Prognosefähigkeit ist lernbar. Superforecaster sind nicht einfach klüger als der Rest, sie denken anders. Sie starten mit der Basisrate, zerlegen grosse Fragen in kleine, quantifizieren fein und ändern ihre Meinung, sobald neue Fakten auftauchen. Der stärkste Faktor für gute Prognosen war nicht Intelligenz, sondern die Bereitschaft, sich ständig selbst zu verbessern.
Was ich daraus einsetze
Keine Wortwahrscheinlichkeiten mehr: Wer in einer Beiratssitzung „gute Chancen“ sagt, muss eine Zahl nennen. Vor jedem KI-Projekt frage ich nach der Basisrate, also wie oft solche Projekte normalerweise gelingen, bevor wir über die Besonderheiten unseres Falls reden. Und Prognosen werden aufgeschrieben und nach drei Monaten überprüft. Genau diese Logik steckt in den Go-, Grow- und Stop-Entscheidungen, mit denen wir bei CTRL+ALT+LEAD KI-Portfolios steuern.
Zusammenfassung
Superforecasting von Philip Tetlock und dem Journalisten Dan Gardner fasst die Ergebnisse des Good Judgment Project zusammen, eines mehrjährigen Prognoseturniers der US-Forschungsbehörde IARPA. Tausende Freiwillige beantworteten Fragen zu Weltpolitik und Wirtschaft, mit Zeithorizonten von einigen Wochen bis zu einem Jahr. Die besten zwei Prozent, die Superforecaster, lagen so deutlich vorn, dass sie selbst Analysten mit Zugang zu klassifizierten Informationen schlugen. Das Buch erklärt, wie diese Menschen denken, warum Experten so oft danebenliegen und wie Organisationen bessere Urteile treffen. Lesbar, voller Geschichten und erstaunlich praktisch. Auf Deutsch ist es als „Superforecasting: Die Kunst der richtigen Prognose“ erschienen.
Summary
Kapitel 1 – An Optimistic Skeptic
Tetlock ist Skeptiker und Optimist zugleich. Die Zukunft lässt sich nur begrenzt vorhersagen, aber innerhalb dieser Grenzen können Menschen deutlich besser werden. Sein Kronzeuge ist Bill Flack, ein pensionierter Mitarbeiter des US-Landwirtschaftsministeriums aus Arizona, der als Hobby-Prognostiker die Profis schlägt.
“Foresight isn’t a mysterious gift bestowed at birth. It is the product of particular ways of thinking, of gathering information, of updating beliefs.”
Kapitel 2 – Illusions of Knowledge
Die Medizin hat jahrhundertelang auf Erfahrung und Autorität vertraut, bis kontrollierte Studien zeigten, wie oft sie danebenlag. Bei Prognosen stehen wir heute an genau diesem Punkt. Unser schnelles Denken liefert überzeugende Geschichten und blendet aus, was wir nicht wissen.
Kapitel 3 – Keeping Score
Prognosen lassen sich nur messen, wenn sie präzise sind. Das berühmteste Gegenbeispiel: Vor der Invasion in der Schweinebucht bewerteten die US-Militärs die Erfolgschancen als „fair chance“ und meinten damit etwa drei zu eins dagegen. Bei Präsident Kennedy kam das als Zuversicht an. Tetlock misst stattdessen mit dem Brier-Score und unterscheidet zwei Denktypen: Igel, die eine grosse Theorie auf alles anwenden, und Füchse, die viele Perspektiven abwägen. Die Füchse prognostizieren besser, die Igel bekommen die besseren Sendeplätze im Fernsehen.
“The fox knows many things but the hedgehog knows one big thing.”
Archilochos, zitiert in Kapitel 3
Kapitel 4 – Superforecasters
Nach dem Debakel um die angeblichen Massenvernichtungswaffen im Irak finanzierte die IARPA ein Prognoseturnier. Tetlocks Good Judgment Project gewann es so deutlich, dass die Konkurrenz nach zwei Jahren eingestellt wurde. Die Superforecaster blieben über die Jahre an der Spitze. Glück allein erklärt das nicht.
Kapitel 5 – Supersmart?
Superforecaster sind überdurchschnittlich intelligent, aber keine Genies. Ihr Vorteil liegt in der Art, wie sie Probleme angehen. Sie zerlegen unlösbar wirkende Fragen in kleine, schätzbare Teile, wie Enrico Fermi bei der Frage, wie viele Klavierstimmer es in Chicago gibt. Und sie beginnen mit der Aussensicht: Wie oft passiert so etwas normalerweise? Erst danach kommen die Details des Einzelfalls.
Kapitel 6 – Superquants?
Mathematik spielt eine kleinere Rolle als gedacht. Entscheidend ist probabilistisches Denken. Superforecaster unterscheiden zwischen 60 und 65 Prozent, und diese Feinheit macht ihre Prognosen messbar besser. Wer dagegen an Schicksal glaubt, nach dem Motto „es sollte so sein“, prognostiziert schlechter.
Kapitel 7 – Supernewsjunkies?
Gute Prognostiker aktualisieren ihre Einschätzungen häufig, aber in kleinen Schritten. Die Kunst liegt darin, weder zu träge noch zu hektisch auf neue Informationen zu reagieren. Wer sich zu sehr mit seiner Meinung identifiziert, hält zu lange an ihr fest.
Kapitel 8 – Perpetual Beta
Der stärkste Prädiktor für Prognosegüte ist die Haltung, ständig dazulernen zu wollen. Tetlock nennt das „perpetual beta“, nach dem Softwarebegriff für ein Produkt, das nie fertig ist. Dazu gehören ehrliche Fehleranalysen, Ausdauer und eine Wachstumshaltung im Sinne von Carol Dweck.
“For superforecasters, beliefs are hypotheses to be tested, not treasures to be guarded.”
Kapitel 9 – Superteams
Teams prognostizieren deutlich besser als Einzelne, im Good Judgment Project um rund 23 Prozent. Aber nur, wenn sie Gruppendenken vermeiden. Die Schweinebucht ist das Lehrstück für Gruppendenken, die Kubakrise eineinhalb Jahre später mit demselben Team das Gegenbeispiel: gezielter Widerspruch, offene Diskussion, kein Rang im Raum.
Kapitel 10 – The Leader’s Dilemma
Führung verlangt Entschlossenheit, gute Prognosen verlangen Demut. Wie passt das zusammen? Tetlocks Antwort kommt überraschend aus Preussen: Helmuth von Moltke und die Auftragstaktik. Die Führung gibt eine klare Absicht vor, die Umsetzung entscheidet vor Ort, und jeder Plan rechnet mit seinem eigenen Scheitern. Ein deutsches Führungsprinzip, das US-Forscher feiern und das bei uns erstaunlich oft vergessen wird.
„Kein Operationsplan reicht mit einiger Sicherheit über das erste Zusammentreffen mit der feindlichen Hauptmacht hinaus.“
Helmuth von Moltke
Kapitel 11 – Are They Really So Super?
Tetlock nimmt die Kritik ernst, vor allem die von Daniel Kahneman und Nassim Taleb. Seltene, folgenreiche Ereignisse, die schwarzen Schwäne, lassen sich kaum prognostizieren. Und je weiter der Horizont, desto schlechter die Treffer: Etwa fünf Jahre voraus nähern sich Expertenprognosen dem Zufall an. Superforecasting funktioniert am besten im Bereich von Wochen bis zu etwa einem Jahr.
Kapitel 12 – What’s Next?
Tetlocks Plädoyer: Prognosen öffentlich messbar machen, in Politik, Medien und Unternehmen. Wer wichtige Entscheidungen auf Vorhersagen stützt, sollte wissen, wie gut diese Vorhersagen in der Vergangenheit waren. Das klingt banal und passiert trotzdem fast nirgends.
Anhang – Die zehn Gebote für angehende Superforecaster
- Triage: Konzentriere dich auf Fragen, bei denen sich Mühe lohnt.
- Zerlege scheinbar unlösbare Probleme in lösbare Teilprobleme.
- Balanciere Innensicht und Aussensicht.
- Reagiere auf neue Informationen weder zu schwach noch zu stark.
- Suche die gegenläufigen Kräfte in jedem Problem.
- Unterscheide so viele Grade von Unsicherheit wie möglich, aber nicht mehr.
- Finde die Balance zwischen Vorsicht und Entschlossenheit.
- Suche die Fehler hinter deinen Fehlern, ohne in den Rückschaufehler zu fallen.
- Hol das Beste aus anderen heraus und lass andere das Beste aus dir herausholen.
- Übe. Prognostizieren lernt man wie Fahrradfahren, nicht aus dem Lehrbuch.
- Und das elfte Gebot: Behandle die Gebote nicht als Gebote.
Fazit
Superforecasting ist Pflichtlektüre für alle, die Entscheidungen unter Unsicherheit treffen, also für Geschäftsführung, Vorstand und Beirat. Das Buch ist über zehn Jahre alt, manche Beispiele wie der Arabische Frühling oder die Griechenlandkrise wirken gealtert, und es sagt wenig dazu, wie man gutes Prognostizieren dauerhaft in einer Organisation verankert. Die Kernbotschaft hat trotzdem nichts verloren: Wer seine Prognosen nicht misst, kann nicht besser werden.
Spannend finde ich den Blick von heute: Inzwischen geben auch Sprachmodelle Prognosen ab. Umso wichtiger wird, was Tetlock beschreibt. Nicht wer die beste Antwort hat, gewinnt, sondern wer seine Annahmen am ehrlichsten überprüft. Das ist eine Führungsaufgabe, keine Technikfrage.
Wenn dir dieses Buch gefallen hat, lies auch:
- Thinking, Fast and Slow – Daniel Kahneman
- Think Again – Adam Grant
- Co-Intelligence – Ethan Mollick
Du willst in deinem Führungsteam bessere Entscheidungen unter Unsicherheit treffen? → Consulting ansehen | Folge mir auf LinkedIn