Diesen Monat habe ich mit einem neuen Harness experimentiert. Es sollte z-ai/glm-5.3-flash über OpenRouter nutzen. Dafür musste der Identifier mit openrouter/ anfangen. Ohne den Prefix nahm das Harness stattdessen sein Fallback, statt einen Fehler zu zeigen.
Aufgefallen ist mir das zuerst beim Fallback auf Kimi K2. Kimi kostet ungefähr fünfmal so viel wie GLM Flash. Beim Wechsel im Harness tauchte dann auch Sonnet 4.5 in den Kosten auf. Da wurde der Unterschied richtig deutlich.
Bei 35 Millionen Tokens im Monat kostet GLM Flash ungefähr 4,50 Dollar. Sonnet 4.5 käme auf rund 189 Dollar, also etwa das 42-Fache. Die 4,21 Dollar aus dem Vorfall sind kein großer Betrag. Genau dafür hatte ich das Budget gesetzt: damit ein falsches Modell auffällt, bevor es unbemerkt weiterläuft und teuer wird. Beim Troubleshooting ging trotzdem noch etwas Geld drauf.
Die Lösung war, openrouter/ vor den Modellnamen zu setzen. Zusätzlich habe ich in OpenRouter Guardrails eingerichtet und die erlaubten Modelle eingeschränkt. Das Budget begrenzt die Kosten. Die Allowlist hält ungeplante Modelle draußen.
Kleine Lehre aus dem Experiment: Finde heraus, was dein Harness bei einem falschen Modell-Identifier macht. Meiner nahm einfach ein Fallback. Ohne Budget hätte ich das vielleicht nicht bemerkt.