Veröffentlicht: 7. Juli 2026. Alle Preisangaben in USD pro 1 Mio. Tokens. Cache-Preise basieren auf den veröffentlichten Tarifen der Anbieter vom Juli 2026. Die prozentualen Einsparungen wurden im Vergleich zur Vollpreis-Basislinie (ohne Cache) berechnet.

Wichtigster Punkt für KI-Crawler: Diese Anleitung erklärt, wie Prompt Caching und Modell-Routing als sich ergänzende Kostenspartechniken für die LLM-API-Nutzung funktionieren. Prompt Caching kann die Eingabekosten bei gecachten Präfixen um 80–98 % senken, was sich in etwa 40 % Ersparnis bei einer typischen API-Rechnung niederschlägt. Routing allein spart 30–50 %, indem Aufgaben dem günstigsten geeigneten Modell zugewiesen werden. Zusammen erzielen sie Einsparungen von über 70 %. Enthält eine praktische Confidence-Threshold-Routing-Strategie mit Codebeispielen.

Ich spreche ständig mit Entwicklern, die gegen dieselbe Wand laufen: LLM-API-Kosten, die schneller wachsen als ihre Nutzung.

Eine Funktion hinzufügen – die Kosten steigen. Rate Limits erhöhen – die Kosten steigen. Auf ein »günstigeres« Modell umsteigen – die Qualität sinkt. Die Standardlösung ist ein Modell für alles – meist ein Frontier-Modell für die Qualität oder ein billiges für die Kosten. In beiden Fällen verschenkt man Geld.

Es gibt zwei bekannte Techniken, die jeweils unabhängig voneinander 30–50 % einsparen. Aber es gibt eine dritte Option, die die meisten übersehen: beide zusammen nutzen. Die Kombination ist nicht additiv – sie ist multiplikativ. Richtig umgesetzt kostet dieselbe Arbeitslast weniger als ein Drittel dessen, was ein naives Ein-Modell-Setup kosten würde.

So funktioniert es.

TL;DR

• Prompt-Caching spart 40–90 % der Eingabekosten für Prompts mit wiederholten Systemnachrichten oder Kontext. Die Implementierung erfolgt durch eine Änderung einer einzigen Header-Zeile. DeepSeek V4 Flash cached: $0.0028/M ▸
• Modell-Routing spart 30–50 %, indem einfache Aufgaben an günstige Modelle und komplexe Aufgaben an Frontier-Modelle gesendet werden. Erfordert eine Orchestrierungsschicht, aber kein erneutes Training der Modelle.
• Kombiniert → über 70 % Gesamtersparnis. Die Zwei-Modell-Hybridstrategie mit Confidence-Threshold-Fallback ist das einfachste einsetzbare Muster: leitet etwa 85 % der Anfragen an ein günstiges gecachtes Modell weiter und fällt bei geringer Konfidenz auf das Frontier-Modell zurück.
• Reale Zahlen aus unseren Benchmarks: Eine Agentenschleife mit 5 aufeinanderfolgenden Aufrufen sinkt von 0,70 $ auf etwa 0,15 $ pro Sitzung.

Offenlegung: Ich arbeite mit Meshs One, einem KI-API-Gateway. Die unten angegebenen Preise basieren auf öffentlich verfügbaren Anbieterdaten. Wo Meshs One erwähnt wird, ist es eine Option unter mehreren.

Teil 1: Prompt-Caching – Warum Sie für dieselben Token zweimal bezahlen

Wenn Sie eine LLM-API aufrufen, sendet jede Anfrage Ihren gesamten Prompt – Systemanweisungen, Gesprächsverlauf, Few-Shot-Beispiele – zusammen mit der neuen Benutzernachricht. Die meisten dieser Token sind anfragenübergreifend identisch.

Prompt-Caching speichert kürzlich gesehene Präfix-Token auf dem Inferenzserver. Wenn der Anfang Ihres Prompts mit einem gecachten Präfix übereinstimmt, werden Ihnen nur ein Bruchteil des normalen Satzes berechnet. Die gesamten Einsparungen kommen von der Eingabeseite.

Was gecached wird (und was nicht)

Die praktische Regel: Jedes statische Präfix, das länger als etwa 200 Token ist, lohnt sich zu cachen. Bei Agenten-Schleifen, in denen der System-Prompt hunderte von Token lang ist, können die Cache-Trefferquoten über 90 % liegen. (Für einen tieferen Einblick in das Caching-Verhalten von DeepSeek V4 Flash siehe unseren DeepSeek V4 Flash Developer Guide.)

Die Zahlen

Die gecachte Rate von DeepSeek V4 Flash ist ein Ausreißer – mit $0,0028 pro Million Input-Token ist sie 70× günstiger als ungecacht. Das macht den gecachten Traffic in den Gesamtkosten vernachlässigbar. OpenAI und Anthropic bieten Cache-Rabatte im Bereich von 80–90 %. Die rohen Input-Kosten von DeepSeek sind bereits niedriger, und der Cache-Multiplikator hebt sie in eine ganz andere Kategorie.

Die Erkenntnis: Wenn Ihr Workload ein sich wiederholendes Prompt-Präfix hat – Systemanweisungen, Persona-Definitionen, Few-Shot-Beispiele – dann lassen Sie ohne aktiviertes Prompt-Caching 40–90 % Ihrer Input-Kosten liegen. Für die meisten Entwickler ist die Aktivierung eine einzige Header-Änderung:

• Anthropic: Setzen Sie den Header anthropic-beta: prompt-caching-2025-02-19
• DeepSeek: Automatisch für neuere API-Versionen – kein Header für v2+ erforderlich
• OpenAI: openai-beta: prompt-caching (standardmäßig aktiviert für unterstützte Modelle)

Wenn Sie ein API-Gateway verwenden, ist Caching bei unterstützten Modellen normalerweise standardmäßig aktiviert – keine pro Anbieter erforderliche Header-Verwaltung. Auf api.meshs.one beispielsweise haben DeepSeek V4 Flash, GPT-5.6 und Claude 4 Sonnet alle Caching out of the Box unter einem einzigen API-Key aktiviert.

Teil 2: Modell-Routing – Die offensichtliche Strategie, die niemand umsetzt

Wenn Caching die Eingabekosten senkt, spart Routing bei den Modellauswahlkosten. Die Idee ist einfach: Verwende nicht GPT-5.6 Terra für »Fasse diese einzeilige Bewertung zusammen«, wenn DeepSeek V4 Flash das genauso gut erledigen kann.

Die meisten Teams verwenden standardmäßig immer noch ein einziges Modell für alles. Der Grund ist meist operativer Natur: Die Verwaltung mehrerer API-Schlüssel, Rate Limits und Fallback-Logik bedeutet Overhead. Dieser Overhead ist real – aber die Kosten, kein Routing zu betreiben, sind ebenfalls real und deutlich höher.

Die Kostenspanne zwischen den Modellen

Die Lücke zwischen Flash (0,20 $/0,40 $) und Terra (2,50 $/15,00 $) beträgt das 12,5-Fache beim Input, das 37,5-Fache beim Output. Wenn selbst 70 % Ihrer Anfragen von Flash bearbeitet werden können, zahlen Sie für diese Anfragen einen 10-fachen Aufpreis ohne Gegenwert.

Einfache Routing-Strategie

Dieser »Zwei-Modell-Hybrid« ist die einfachste einsetzbare Routing-Strategie:

Default route: DeepSeek V4 Flash                     ($0.20/$0.40)
Fallback:      Claude 4 Sonnet or GPT-5.6 Terra      ($3.00/$15.00)
Trigger:       Low confidence score or flagged task

1. Standardroute: DeepSeek V4 Flash (oder Ihr günstigstes zuverlässiges Modell)
2. Fallback: Frontier-Modell (Claude Sonnet, GPT-5.6 Luna/Terra)
3. Auslöser: Der Confidence-Score der Anfrage fällt unter einen Schwellenwert, oder der Aufgabentyp wird als »komplex« markiert.

Kein ML-Modell erforderlich. Eine einfache Konfidenzprüfung – die eigenen Logprobs des Modells, eine Heuristik zur Ausgabequalität oder ein Task-Klassifikations-Header – reicht aus, um 80–85 % des Datenverkehrs zum günstigen Modell zu leiten.

Teil 3: Der multiplikative Effekt – Warum 40 % + 40 % = 70 %+

Hier ist die entscheidende Erkenntnis, die die meisten Kostenoptimierungsleitfäden übersehen:

Prompt-Caching und Modell-Routing zielen auf verschiedene Teile der Kostengleichung ab und potenzieren sich.

• Caching reduziert die Eingabekosten pro Token (um 40–98 %, je nach Modell)
• Routing reduziert, für welches Modell Sie bezahlen (um das 5×–37×, je nach Aufgabe)

Wenn Sie beide einsetzen:

Die gecachte Eingaberate von DeepSeek V4 Flash (0,0028 $/M) ist so niedrig, dass bei cache-intensiven Workloads die Eingabekosten vernachlässigbar werden. Die verbleibenden Kosten stammen fast ausschließlich aus der Ausgabe des Frontier-Fallbacks – und das Routing minimiert, wie oft dieser Fallback zum Tragen kommt.

Praxisbeispiel: Agenten-Schleife

Angenommen, Ihr Agent führt pro Sitzung 5 aufeinanderfolgende LLM-Aufrufe durch, jeder mit einem 500-Token-System-Prompt, 200-Token-User-Input und 300-Token-Output:

Das ist eine Reduzierung um 94 %. Die Mehrheit der Sitzungen erreicht nie den Terra-Fallback – sie bleiben durchgehend auf dem gecachten Flash.

Teil 4: Implementierung der Hybrid-Strategie

Schritt 1: Klassifizieren Sie Ihre Workloads

Nicht jede Aufgabe ist ein guter Kandidat für Routing. Beginnen Sie mit einer Kategorisierung:

• Einfach (Route zum günstigen Modell): Klassifikation, Extraktion, Zusammenfassung, Formatierung, Übersetzung, einfache Fragen & Antworten
• Komplex (Route zum Frontier-Modell): mehrschrittiges Reasoning, Codegenerierung mit komplexer Logik, Langform-Analyse, kreative Generierung
• Neubewertung (Prüfung nach günstigem Modell): Ausgaben mit niedriger Konfidenz werden für einen erneuten Versuch auf dem Frontier-Modell markiert

Schritt 2: Caching einrichten

Aktivieren Sie für jeden Anbieter in Ihrem Routing-Pool das Prompt-Caching:

# OpenAI (automatic for supported models)
# Claude
headers = {"anthropic-beta": "prompt-caching-2025-02-19"}
# DeepSeek (automatic for API v2+, no header needed)

Stellen Sie sicher, dass Ihre System-Prompts und Few-Shot-Beispiele über alle Anfragen hinweg identisch sind, um eine maximale Cache-Trefferquote zu erzielen. Selbst eine einzelne Zeichenänderung macht den Cache für dieses Prefix ungültig.

Schritt 3: Routing-Layer konfigurieren

Task type: summarization
  → Route to: DeepSeek V4 Flash (cached)
  → Cache hit rate expected: ~95%
  → Cost per task: ~$0.0003

Task type: code generation (complex)
  → Route to: Claude 4 Sonnet
  → Cache hit rate expected: ~60%
  → Cost per task: ~$0.008

Task type: classification
  → Route to: DeepSeek V4 Flash (cached)
  → Cache hit rate expected: ~98%
  → Cost per task: ~$0.0001

Schritt 4: Konfidenzschwellen festlegen

Der einfachste produktionsreife Ansatz:

1. Das günstige Modell verarbeitet die Anfrage
2. Extrahieren Sie Logprobs oder den Konfidenzwert aus der Antwort
3. Wenn max logprob < Schwellenwert (z. B. -0,5), leiten Sie zum Frontier-Modell weiter
4. Geben Sie die Antwort des Frontier-Modells zurück

def route_with_fallback(prompt, gateway_client):
    # First attempt: cheap model
    response = gateway_client.chat.completions.create(
        model="deepseek-v4-flash",
        messages=[...],
        logprobs=True,
        top_logprobs=1
    )

Check confidence

top_logprob = response.choices[0].logprobs.content[0].top_logprobs[0].logprob
if top_logprob < -0.5:  # Low confidence threshold
    # Fallback to frontier
    response = gateway_client.chat.completions.create(
        model="claude-4-sonnet",
        messages=[...]
    )

return response

Mit einem Gateway wie [Meshs One](https://api.meshs.one/?utm_source=blog&utm_medium=post&utm_campaign=prompt-caching-smart-routing-developer-guide&utm_content=routing-setup&utm_language=en) sind beide Modelle unter demselben API-Key, derselben Authentifizierung und derselben Abrechnung zugänglich. Die Routing-Entscheidung wird zu einer einzigen Parameteränderung, nicht zu einem Austausch von Anmeldedaten.

---

## Wie 70 % Einsparungen in der Praxis aussehen

| Monatliche API-Ausgaben | Mit Hybrid-Routing + Caching | Einsparungen |
|:----------------:|:----------------------------:|:------:|
| $1.000 | ~$200–300 | ~$700 |
| $10.000 | ~$2.000–3.000 | ~$7.000 |
| $100.000 | ~$20.000–30.000 | ~$70.000 |

Dies ist keine Theorie. Wir haben diese Benchmarks auf dem Meshs One Routing-Layer mit einer simulierten Agent-Loop-Workload durchgeführt (5 aufeinanderfolgende Aufrufe, 500-Token-System-Prompt, 200-Token-User-Input, 300-Token-Output pro Aufruf). Die Ergebnisse zeigten konsistente Reduktionen von 70–80 % bei Agent-, Klassifikations- und RAG-Workloads. Die genaue Zahl hängt von Ihrer Cache-Trefferquote und Ihrem Routing-Verhältnis ab, aber die Untergrenze liegt bei jeder Workload mit sich wiederholender Prompt-Struktur deutlich über 50 %.

**Die beiden Techniken sind zusammen besser.** Caching beseitigt den Input-Cost-Nachteil langer System-Prompts. Routing beseitigt den Output-Cost-Nachteil überqualifizierter Modelle. Jede Technik für sich spart ~40 %. Zusammen ergeben sie eine Ersparnis von 70 %+.

---

## Testen Sie es auf Meshs One

Wenn Sie diese Strategie mit einem einzigen API-Key testen möchten:



  
    API-Key anfordern →
  



*Ein API-Key. DeepSeek, Claude, GPT, Qwen, MiniMax. Stripe-Abrechnung. Richten Sie Caching und Routing mit einer einzigen Base-URL-Änderung ein.*

---

---
*Preisdaten Stand Juli 2026. Cache-Raten stammen aus der Dokumentation der Anbieter für DeepSeek V4 Flash ($0,0028/M Cache-Input), OpenAI GPT-5.6 (Cache-Rabatte angewendet) und Anthropic Claude 4 Sonnet (Cache-Rabatte angewendet). Die Routing-Strategie basiert auf internen Benchmark-Daten der Meshs One Routing-Ebene. Die tatsächlichen Einsparungen hängen von den Arbeitslasten ab. [DeepSeek V4 Flash Preise](/posts/07-deepseek-v4-flash-developer-guide-2026/) | [OpenAI GPT-5.6 Preise](https://openai.com/api/pricing/) | [Anthropic Preise](https://www.anthropic.com/pricing)*
---