TheModelDesk

Entwickler Maxim Khailo hat das sogenannte Cache-Keepalive vermessen: die verbreitete Praxis, während Leerlaufphasen eines Agenten (Warten auf Build, Test oder menschliche Freigabe) den Prompt-Präfix zeitgesteuert erneut zu senden, damit der Cache des LLM-Anbieters nicht verfällt. Getestet wurden Anthropic (Sonnet 4.5), OpenAI (GPT-5.1), Google Gemini 2.5 Pro und DeepSeek V3.2, mit Leerlaufpausen bis zu 10 Minuten, Präfixen bis 100.000 Tokens und je drei unabhängigen Testläufen.

Die weit verbreitete Konvention, alle 30 Sekunden zu pingen, kostet demnach etwa 8-mal mehr als nötig; das tatsächliche Optimum liegt bei rund 4 Minuten, knapp unter Anthropics 5-Minuten-TTL. Ein 4-Minuten-Keepalive hielt 23 von 24 Proben warm und kostete dabei 7,8-mal weniger als die 30-Sekunden-Variante.

Die Anbieter zeigten drei unterschiedliche Verhaltensmuster. Anthropic hat eine harte TTL: Der Cache übersteht 5 Minuten, ist aber nach 10 Minuten komplett verfallen (0 von 48 Basis-Proben noch warm) — dort lohnt sich das Keepalive eindeutig: Bei 10 Minuten Pause und 100.000-Token-Präfix kostete der 4-Minuten-Keepalive 0,414 $ statt 0,667 $, eine Ersparnis von 38 %. DeepSeek (über DeepInfra) ist „lossy“: Der Cache verfällt teilweise trotz Pings, weil Anfragen über Lastverteilung auf verschiedene Maschinen landen — hier bringt das Keepalive vor allem Latenzgewinne (1,4–2,0 s statt 5,4 s bis zum ersten Token), keine Kostenersparnis. OpenAI und Google Gemini sind „sticky“: Ihre Caches überleben oft auch ohne Pings 10 Minuten (39/48 bzw. 20/24 Proben) — dort war das Keepalive meist reine Geldverschwendung, bei Gemini kostete es sogar 40 % mehr als gar nichts zu tun (0,186 $ statt 0,131 $).

Khailos Break-even-Formel besagt: Pingen lohnt sich nur, wenn die Pause ungefähr das Intervall mal (Schreib-/Lesekosten-Verhältnis minus 1) übersteigt — rund 46 Minuten bei Anthropic, 36 Minuten bei OpenAI und DeepSeek, aber nur 12 Minuten bei Google, dessen Cache-Lesezugriffe viermal teurer sind als bei Anthropic. Jenseits dieser Schwelle ist es günstiger, den Cache verfallen zu lassen und neu zu befüllen.

Anstoß gab ein CacheWise-Paper (Shubham Tiwari, Tapan Chugh, Nash Rickert, Simon Peter, Ratul Mahajan, Haiying Shen) zum KV-Cache-Management für Coding-Agenten, vorgestellt auf der AgentSys-Konferenz in Bellevue. Khailo vermutet zudem, dass flächendeckendes Keepalive-Pingen zu einem „Noisy-Neighbor“-Problem bei geteilten Cache-Ebenen führt, und erwartet, dass Anbieter künftig Cache-Vorhaltung direkt nach Token-Stunden abrechnen — wie Googles expliziter Cache und Anthropics 1-Stunden-Tarif (mit doppelten Schreibkosten) es teilweise bereits tun. Sein Open-Source-Agent-Framework „pi“ setzt die Empfehlung um: Keepalive nur während laufender Tool-Batches, standardmäßig deaktiviert.