Ein Affe, der unendlich lange auf einer Schreibmaschine herumtippt, schreibt irgendwann Shakespeare. So geht das Gedankenexperiment. Der entscheidende Teil ist die unendliche Zeit. piazza
Ich habe keine unendliche Zeit. Sagen wir, ich habe 100 Euro.
Nehme ich dafür das beste KI-Modell, das ich bekommen kann? Oder lasse ich viele günstige Modelle gleichzeitig an meiner Frage arbeiten? Vielleicht eine Mischung: Das teure Modell macht den Plan, die günstigen kümmern sich um den Rest.
Und wenn zwischen all den Antworten tatsächlich ein Hamlet liegt: Wer findet ihn?
Die teure KI soll es herausfinden
Ich wollte wissen, wann sich ein teures Modell lohnt. Also habe ich ein teures Modell damit beauftragt, genau das zu recherchieren.
Der Auftrag war ausführlich. Es ging um Modellqualität, parallele Agents, kostenlose Angebote, Abos, Credits und API-Preise. Außerdem um die Frage, ob eine automatische Modellauswahl eigentlich für mich optimiert oder für den Anbieter.
Opus 5.5 bekam den großen Rechercheauftrag. Mit vielen Websuchen wurde das eine ziemlich teure Antwort. Anschließend habe ich weitere Modelle dieselbe Frage bearbeiten lassen.
Damit war der Artikel bereits eine Ebene tiefer gerutscht: Die Recherche über sinnvolle KI-Nutzung musste nun selbst darauf geprüft werden, ob sie sinnvoll gewesen war.
Dann habe ich die Ergebnisse wieder mit KI besprochen.
Ziemlich viel Inception für die Frage, wofür man 100 Euro ausgeben sollte.
Man fängt ja nicht bei null an
Die 100 Euro waren ohnehin nur ein Gedankenexperiment. Ich habe bereits verschiedene Zugänge. Hier ein kostenloses Kontingent, dort ein Abo, irgendwo noch Guthaben.
Ich rotiere auch zwischen Anbietern. Nicht jede Frage braucht denselben Zugang, und nicht für jede neue Frage muss ich zusätzlich bezahlen.
Die interessante Frage lautet deshalb nicht nur: Welche KI bekomme ich für mein Geld?
Sondern: Was bekomme ich durch die Zahlung, das mir bisher fehlt?
Vielleicht ein besseres Modell. Vielleicht höhere Limits, eine brauchbare Websuche oder weniger Unterbrechungen. Vielleicht einfach eine Oberfläche, in der ich gern arbeite.
Dabei geht man tatsächlich shoppen. Ein bestimmtes Modell kann über ein gut genutztes Abo günstiger sein als über einzeln abgerechnete API-Aufrufe. Das muss aber zum eigenen Bedarf passen. Ein günstiger Zugang hilft wenig, wenn ich ihn nicht so verwenden kann, wie ich möchte.
Und ein Abo wird nicht dadurch zum Schnäppchen, dass ich möglichst viele Tokens verbrauche.
Ich brauche keine längeren Antworten, nur damit sich der Monat gerechnet hat.
Jetzt hatte ich mehrere Antworten
Die Ergebnisse waren umfangreich und auf den ersten Blick ordentlich strukturiert. Viele Tabellen, Kostenmodelle und Empfehlungen.
Beim Lesen wurden die Unterschiede deutlicher.
Eine Antwort arbeitete ausdrücklich mit einem Recherchestand von März 2025. Andere erklärten, keinen Webzugriff zu haben. Wieder andere nannten konkrete Tarife und Leistungswerte, die ich erst einmal hätte nachprüfen müssen.
Besonders interessant waren die Rechnungen zur eigenen Zeit. Das günstige Modell verursache mehr Fehler, das teure spare Nacharbeit. Wenn eine Stunde meiner Zeit einen bestimmten Wert habe, sei das stärkere Modell schnell wirtschaftlicher.
Kann stimmen. Nur waren die entscheidenden Werte teilweise angenommen.
Wenn ich voraussetze, dass mir ein teures Modell zehn Minuten spart, kann ich seinen Aufpreis leicht rechtfertigen. Ich wollte aber gerade herausfinden, ob es diese zehn Minuten tatsächlich spart.
Eine Antwort ging noch weiter: Sie erklärte den Einsatz eines starken Modells für diese Recherche für wirtschaftlich zwingend. Die dafür nötige Zeitersparnis hatte sie selbst geschätzt.
Damit hatte ich eine schön ausgerechnete Antwort. Die offene Frage war immer noch offen.
Wer erkennt die gute Antwort?
Hier kommt der Affe wieder ins Spiel.
Es sind zwei verschiedene Dinge, ob irgendwo eine richtige Antwort entstanden ist oder ob ich sie auch bekomme.
Wenn ich fünf Modelle frage, habe ich zunächst fünf Ausgaben. Vielleicht ergänzen sie sich. Vielleicht wiederholen sie dieselben Fehler. Vielleicht ist eine Antwort vorsichtig und lückenhaft, während eine andere falsch, aber sehr überzeugend klingt.
Dann muss ich auswählen.
Bei manchen Aufgaben kann ich vorher festlegen, wie ich das Ergebnis prüfe. Eine Berechnung lässt sich nachrechnen. Code kann ich mit Tests prüfen, wobei auch die nur das abdecken, was tatsächlich getestet wird.
Bei einer offenen Recherche ist die Sache weniger eindeutig. Welche Perspektive fehlt? Ist die Quelle aktuell? Belegt sie wirklich die Aussage? Ist die Empfehlung nachvollziehbar oder beruht sie auf einer Annahme, die bei mir gar nicht zutrifft?
Mehrere Modelle können dabei helfen. In meinem Versuch haben die unterschiedlichen Antworten durchaus Schwächen sichtbar gemacht.
Aber sie haben mir die Bewertung nicht abgenommen.
Ich wollte eine Frage klären. Jetzt musste ich erst einmal mehrere Antworten auseinandernehmen.
Meine Freizeit hat keinen festen Stundensatz
Die Recherchen waren sich auffällig oft einig, dass kostenlose Angebote schnell zur Sparillusion werden. Anbieterwechsel kosten Zeit, Kontext muss übertragen werden, Limits unterbrechen den Ablauf.
Das kenne ich. Wenn ich mitten in einer langen Unterhaltung wechseln muss, ist das lästig.
Eine neue, unabhängige Frage in einem anderen Tab zu stellen, ist allerdings etwas anderes. Und wenn ich Modelle vergleichen möchte, gehört der Wechsel dazu.
Ich nutze KI außerdem nicht nur, um schneller fertig zu werden. Manchmal will ich verstehen, warum zwei Modelle unterschiedlich antworten. Ich probiere etwas aus, weil es mich interessiert.
Dann ist die Beschäftigung damit nicht automatisch verlorene Zeit.
Lästig wird es, wenn ich eigentlich eine Antwort wollte und plötzlich einen Abend lang Antworten verwalte.
Dafür brauche ich keinen erfundenen Stundensatz. Ich merke auch so, ob mich etwas interessiert oder nur aufhält.
Deshalb würde ich kostenlose Rotation nicht pauschal als unvernünftig abtun. Genauso wenig würde ich sie zur Pflicht erklären, nur weil irgendwo noch eine kostenlose Anfrage übrig ist.
Auto klingt bequem
Natürlich könnte ich mir einen Teil der Auswahl sparen und auf Auto stellen.
Der Anbieter entscheidet, welches Modell meine Frage bearbeitet. Ich muss mich nicht ständig mit Modellnamen und Preisen beschäftigen.
Ich würde nur gern wissen, wonach entschieden wird.
Geht es um Qualität, Geschwindigkeit, Verfügbarkeit oder Kosten? Und wessen Kosten sind gemeint?
Eine günstige Route kann für beide Seiten sinnvoll sein. Für eine einfache Frage brauche ich kein Spitzenmodell. Trotzdem möchte ich nicht ungeprüft annehmen, dass der Anbieter meine Prioritäten kennt.
Interessant wäre für mich: Sehe ich das ausgewählte Modell? Profitiere ich von einem günstigeren Aufruf? Kann ich bei einer wichtigen Frage selbst entscheiden?
Ich muss nicht jeden Aufruf kontrollieren. Aber „Auto“ allein erklärt mir noch nicht, warum die Auswahl für mich passen soll.
Mein Auftrag war ziemlich groß
Ganz unschuldig war ich an der Materialmenge nicht.
Mein Rechercheauftrag verlangte Forschungsstand, aktuelle Tarife, Datenschutz, Kostenrechnung, mehrere Szenarien, einen Selbstversuch und eine mögliche Artikelstruktur. Zum Schluss sollte das Modell noch bewerten, ob es sinnvoll war, ein teures Modell damit zu beauftragen.
Das war präzise formuliert. Es war aber auch sehr viel auf einmal.
Beim nächsten Mal würde ich kleiner anfangen.
Erst eine begrenzte Frage recherchieren lassen. Dann nachsehen: Sind die Quellen brauchbar? Werden Unsicherheiten benannt? Passt die Antwort zu meiner Frage? Was hat dieser erste Durchlauf gekostet?
Danach kann ich immer noch mehr beauftragen.
Auch Anthropic empfiehlt bei Agentensystemen, mit einer einfachen Lösung anzufangen und zusätzliche Komplexität erst hinzuzunehmen, wenn sie gebraucht wird. Ausgerechnet bei der Frage nach sinnvoller KI-Nutzung hatte ich direkt den großen Auftrag erteilt.
Ich würde außerdem früher eingrenzen, was ich nicht brauche. Für diesen Artikel muss ich nicht jeden Tarif am Markt kennen. Ich brauche genug belastbares Material, um meine Frage vernünftig zu behandeln.
Muss ich trotzdem alles überprüfen?
Nicht jeden Absatz, den eine KI ausgibt.
Aber die Aussagen, die ich übernehmen will.
Ich muss aus fünf Analysen nicht fünf geprüfte Analysen machen. Ich kann auswählen, was für den Artikel wichtig ist, und diesen Teil nachprüfen.
Eine konkrete Preisangabe braucht eine aktuelle Quelle. Ein Rechenbeispiel braucht erkennbare Annahmen. Und eine weitreichende Empfehlung sollte nicht bloß daraus entstehen, dass eine KI sie mit großer Sicherheit hinschreibt.
Ein weiteres Modell kann helfen, Schwachstellen zu suchen. Ich würde es inzwischen eher fragen:
Welche Aussage würde meine Schlussfolgerung kippen, wenn sie falsch wäre?
Das bringt mich eher weiter als noch eine vollständige Zusammenfassung.
Irgendwann muss ich aber selbst entscheiden, was ich ausreichend verstanden und geprüft habe. Noch eine KI zu fragen, verschiebt diesen Punkt nur.
War die teure Recherche ihr Geld wert?
Sie war nützlich. Sie hat mir Material, Quellenansätze und eine bessere Vorstellung davon gegeben, woran die Entscheidung hängt.
Ob sie optimal war, weiß ich nicht.
Dafür hätte ich vorher festhalten müssen, wie ich die Ergebnisse vergleiche. Nicht nur den Preis der Aufrufe, sondern auch, was ich davon verwenden konnte und wie viel zusätzliche Prüfung nötig war.
Vielleicht hätte ein günstigerer Durchlauf gereicht. Vielleicht hätte ich damit mehr Zeit verbracht. Aus der Länge der Antwort und der Zahl der Websuchen lässt sich das nicht ablesen.
Der Versuch ist damit kein Beweis für ein bestimmtes Modell. Er hat mir aber gezeigt, wo ich beim nächsten Mal genauer hinschauen würde.
Vor allem beim Prüfaufwand.
Für diesen Artikel reicht es jetzt
Meine 100 Euro muss ich nicht vollständig ausgeben.
Ich muss auch nicht immer das billigste Modell finden. Wenn mir ein besserer Zugang das Herumprobieren erspart, kann er seinen Preis wert sein. Wenn ich gerade herumprobieren möchte, ist das ebenfalls in Ordnung.
Ich würde heute zuerst fragen, was ich eigentlich will: eine schnelle Antwort, eine gründliche Recherche oder die Gelegenheit, etwas zu verstehen.
Danach lässt sich eher entscheiden, welche KI dafür passt.
Für diesen Artikel brauche ich jedenfalls keine weitere vollständige Analyse. Es liegt genug Material auf dem Tisch.
Sonst frage ich gleich die nächste KI, ob ich schon fertig bin.
P.S.
Diese Analyse liefert selbst ein kleines Beispiel für ihre These. Am Monatsende hatte ich noch ungenutzte, nicht übertragbare KI-Credits und habe einen Teil davon für diese Recherche eingesetzt. Der gesamte Lauf einschließlich 26 Websuchen verbrauchte Credits mit einem rechnerischen Nachkaufwert von ungefähr 5,50 US-Dollar. Eine zusätzliche Zahlung entstand mir dadurch nicht.
Interessant ist der Unterschied zwischen Ergebnis und Prozess: Die reine Ausgabe des sichtbaren Endtexts hätte nach einer groben Token-Schätzung nur einige Zehn US-Cent gekostet. Der abgerechnete Recherchelauf lag damit größenordnungsmäßig etwa eine Zehnerpotenz darüber. Das ist allerdings kein gemessener Tokenfaktor: Recherchekontext, Zwischenaufrufe, internes Reasoning, Caching und Plattformabrechnung lassen sich aus dem Endtext nicht auseinanderrechnen.
Ökonomisch war die Nutzung trotzdem nachvollziehbar: Wenn Credits sonst verfallen und keine wertvollere Verwendung mehr ansteht, ist ihr Schattenpreis nahe null. Daraus folgt aber nicht, dass ich dieselbe Recherche jederzeit für 5,50 Dollar nachkaufen würde. Restkontingent sinnvoll zu nutzen und einen laufenden Workflow wirtschaftlich zu betreiben sind zwei verschiedene Entscheidungen.
P.P.S.
Weil ich auch immer mal gefragt werde, wie man einen Rechercheauftrag für ein Frontier-Modell promptet, stelle ich den RAW-Prompt zur Verfügung, den ich genutzt habe: RAW-Prompt