Czym jest cache promptów? Odczyt i zapis do cache

Innymi słowy: gdy zapytania zaczynają się tak samo, część pracy nie musi być wykonywana od nowa.

Anthropic (Claude API)

• Cache włącza się przez cache_control: raz, na najwyższym poziomie zapytania (cache automatyczny), albo przy poszczególnych blokach treści.
• Cache domyślnie żyje 5 minut i przy każdym użyciu jest bezpłatnie odświeżany. Można też wybrać czas życia 1 godziny.
• Zapis do cache kosztuje 1,25x ceny wejścia przy 5 minutach i 2x przy 1 godzinie. Odczyt z cache kosztuje 0,1x, w Opus 5.5 i Sonnet 5.5 0,05x, a w Fable 5.1 0,025x.
• W obecnych modelach prompty krótsze niż 512 tokenów nie trafiają do cache. W odpowiedzi warto sprawdzać pola cache_read_input_tokens i cache_creation_input_tokens.

OpenAI (API)

• W obsługiwanych modelach cache jest domyślnie włączony. Od GPT-5.6 można zostawić rozmieszczenie punktów podziału cache (breakpoints) OpenAI albo ustawić je samodzielnie.
• Od GPT-5.6 najkrótszy prefiks, który trafia do cache, ma 1 024 tokeny. Zapisany prefiks można ponownie wykorzystać przez 30 minut od ostatniego zapisu lub użycia.
• Zapis do cache kosztuje 1,25x stawki za wejście. Odczyt kosztuje 0,1x w większości tych modeli i 0,05x w GPT-6.1 Sol.

Kiedy cache nie zadziała

Zapisana część musi się zgadzać dokładnie, od samego początku. Zmiana wcześniejszej treści, modelu, narzędzi, a często też poziomu rozumowania (effort) oznacza brak trafienia (cache miss). Stałe treści warto umieszczać na początku, a wszystko, co zmienia się między zapytaniami, np. znaczniki czasu, na końcu.

W Claude Code i Codex

Według przewodnika Anthropic po Claude Code plik CLAUDE.md jest wysyłany przy każdej turze, ale od drugiej rozliczany po tańszej stawce za odczyt z cache. W rozliczeniu kredytami w Codex nie ma osobnej opłaty za zapis do cache. Według stawek API odczyt z cache kosztuje 0,20 USD za milion tokenów w Opus 5.5 i 0,10 USD w GPT-6.1 Sol, wobec 4 USD i 2 USD za nowe tokeny wejściowe.