Le développeur Maxim Khailo a mené une étude sur le « keepalive » du cache de prompt : la pratique courante consistant à renvoyer périodiquement le préfixe d'une requête pendant les pauses d'un agent (attente d'un build, d'un test ou d'une validation humaine) afin d'éviter l'expiration du cache chez le fournisseur de LLM. Il a testé Anthropic (Sonnet 4.5), OpenAI (GPT-5.1), Google Gemini 2.5 Pro et DeepSeek V3.2, avec des pauses allant jusqu'à 10 minutes, des préfixes jusqu'à 100 000 tokens, et trois exécutions indépendantes par condition.

La convention largement copiée consistant à envoyer un ping toutes les 30 secondes coûterait environ 8 fois plus que nécessaire ; l'intervalle réellement optimal se situe autour de 4 minutes, juste sous le TTL de 5 minutes d'Anthropic. Un keepalive à 4 minutes a maintenu chaud 23 échantillons sur 24, pour un coût 7,8 fois inférieur à la version à 30 secondes.

Les fournisseurs se répartissent en trois régimes distincts. Anthropic applique un TTL strict : le cache survit 5 minutes mais est totalement expiré à 10 minutes (0 échantillon chaud sur 48 sans ping) — le keepalive y fait clairement économiser de l'argent : sur une pause de 10 minutes avec un préfixe de 100 000 tokens, le keepalive à 4 minutes coûtait 0,414 $ contre 0,667 $ sans ping, soit 38 % d'économie. DeepSeek (via DeepInfra) est « fuyant » : le cache se dégrade même avec des pings, car le routage de charge répartit les requêtes sur différentes machines — le keepalive y apporte surtout un gain de latence (1,4 à 2,0 s contre 5,4 s à froid) plutôt qu'une économie. OpenAI et Google Gemini sont « collants » : leur cache survit souvent 10 minutes sans aide (39/48 et 20/24 échantillons respectivement) — le keepalive y était surtout du gaspillage, celui de Gemini coûtant même 40 % de plus que ne rien faire (0,186 $ contre 0,131 $).

Selon la formule de rentabilité de Khailo, pinger n'est rentable que si la pause dépasse environ l'intervalle multiplié par (ratio coût d'écriture/lecture moins 1) — soit environ 46 minutes chez Anthropic, 36 minutes chez OpenAI et DeepSeek, mais seulement 12 minutes chez Google, dont les lectures en cache coûtent quatre fois plus cher que chez Anthropic. Au-delà de ce seuil, il est plus économique de laisser le cache expirer et de repayer un préchargement complet.

Le projet a été inspiré par un article CacheWise (Shubham Tiwari, Tapan Chugh, Nash Rickert, Simon Peter, Ratul Mahajan, Haiying Shen) sur la gestion du cache KV pour les agents de codage, présenté lors de la conférence AgentSys à Bellevue. Khailo estime aussi que la généralisation du keepalive crée un problème de « voisin bruyant » pour les couches de cache partagées, et prédit que les fournisseurs finiront par facturer directement la résidence du cache au token-heure — comme le font déjà partiellement le cache explicite de Google et le palier à 1 heure d'Anthropic (à double coût d'écriture). Son framework d'agent open source « pi » applique cette politique : keepalive uniquement pendant l'exécution active d'un lot d'outils, désactivé par défaut.