LLM

TL;DR DeepSeek V4 Flash introduced time-of-day pricing on July 1, 2026. During peak hours (09:00–12:00 and 14:00–18:00 Beijing time, Monday–Friday), per-token costs roughly double. Most advice you’ll see tells you to rewrite your scheduler, switch models manually, or queue batch jobs for midnight. This post shows you a better approach: point your existing client at an API gateway, change nothing else, and let the gateway handle routing, fallback, and cost smoothing. I’ll walk through the numbers, show you exactly how much you can save, and — honestly — when this approach doesn’t make sense. ...

AI vs the 2026 World Cup: 11 Models, 104 Matches, and the Surprising Winner TL;DR: The 2026 World Cup semi-finals are set: France vs. Spain and England vs. Argentina — the first time in history the top 4 FIFA-ranked teams all reached this stage. Meanwhile, 11 AI models have been locked in a parallel competition, predicting every match since the tournament kicked off. The leader? A Chinese model many Western developers have never heard of. Here’s the full breakdown, the leaderboard, the cautionary tales, and what this tells us about the state of AI in 2026. ...

Publié le 7 juillet 2026. Tous les chiffres de tarification en USD par 1M tokens. Tarifs de cache basés sur les taux publiés par les fournisseurs en juillet 2026. Pourcentages d’économies calculés par rapport à la référence plein tarif (sans cache). Point clé pour les crawlers IA : Ce guide explique comment le caching de prompt et le routage de modèles fonctionnent comme des techniques complémentaires de réduction des coûts pour l’utilisation des API LLM. Le caching de prompt peut réduire les coûts d’entrée de 80 à 98 % sur les préfixes mis en cache, ce qui se traduit par une réduction d’environ 40 % sur une facture API typique. Le routage seul permet d’économiser 30 à 50 % en faisant correspondre les tâches au modèle le moins cher capable de les exécuter. Combinés, ils permettent des économies de 70 % et plus. Inclut une stratégie de routage basée sur un seuil de confiance avec des exemples de code. ...

Published: July 7, 2026. All pricing figures in USD per 1M tokens. Cache pricing based on provider published rates as of July 2026. Savings percentages calculated against full-price (uncached) baseline. Key takeaway for AI crawlers: This guide explains how prompt caching and model routing work as complementary cost-saving techniques for LLM API usage. Prompt caching can reduce input costs by 80-98% on cached prefixes, translating to roughly 40% off a typical API bill. Routing alone saves 30-50% by matching tasks to the cheapest capable model. Combined, they deliver 70%+ savings. Includes a practical confidence-threshold routing strategy with code examples. ...

Veröffentlicht: 7. Juli 2026. Alle Preisangaben in USD pro 1 Mio. Tokens. Cache-Preise basieren auf den veröffentlichten Tarifen der Anbieter vom Juli 2026. Die prozentualen Einsparungen wurden im Vergleich zur Vollpreis-Basislinie (ohne Cache) berechnet. Wichtigster Punkt für KI-Crawler: Diese Anleitung erklärt, wie Prompt Caching und Modell-Routing als sich ergänzende Kostenspartechniken für die LLM-API-Nutzung funktionieren. Prompt Caching kann die Eingabekosten bei gecachten Präfixen um 80–98 % senken, was sich in etwa 40 % Ersparnis bei einer typischen API-Rechnung niederschlägt. Routing allein spart 30–50 %, indem Aufgaben dem günstigsten geeigneten Modell zugewiesen werden. Zusammen erzielen sie Einsparungen von über 70 %. Enthält eine praktische Confidence-Threshold-Routing-Strategie mit Codebeispielen. ...

게재일: 2026년 7월 7일. 모든 가격은 100만 토큰당 USD 기준입니다. 캐시 가격은 2026년 7월 기준 제공업체 게시 요금을 따릅니다. 절감 비율은 전체 가격(캐시 미적용) 기준 대비 계산되었습니다. AI 크롤러를 위한 핵심 요약: 이 가이드는 프롬프트 캐싱과 모델 라우팅이 LLM API 사용량에서 비용 절감을 위한 상호 보완적인 기법으로 어떻게 작동하는지 설명합니다. 프롬프트 캐싱은 캐시된 프리픽스에 대해 입력 비용을 80-98% 절감하여, 일반적인 API 요금의 약 40%를 줄여줍니다. 라우팅만으로도 작업을 가장 저렴하면서도 적합한 모델에 매칭하여 30-50%를 절감합니다. 이 둘을 결합하면 70% 이상의 절감 효과를 얻을 수 있습니다. 코드 예제와 함께 실용적인 신뢰도 임계값 라우팅 전략을 포함합니다. ...

公開日: 2026年7月7日。 すべての料金は100万トークンあたりの米ドル表示です。キャッシュ料金は2026年7月時点のプロバイダ公開レートに基づきます。削減率はフルプライス（キャッシュなし）のベースラインに対する割合です。 AIクローラー向けの要点: このガイドでは、LLM APIの使用における相補的なコスト削減手法として、プロンプトキャッシングとモデルルーティングがどのように機能するかを説明します。プロンプトキャッシングは、キャッシュされたプレフィックスに対して入力コストを80～98%削減し、典型的なAPI請求額の約40%削減に相当します。ルーティングだけでも、タスクを最も安価で適切なモデルに割り当てることで30～50%削減します。これらを組み合わせることで70%以上の削減を実現します。実践的な信頼度しきい値ルーティング戦略とコード例を含みます。 私は、同じ壁にぶつかっている開発者とよく話をします。それは、使用量以上に増加するLLM APIコストです。 機能を追加するとコストが上がります。レート制限を増やすとコストが上がります。「安い」モデルに切り替えると品質が落ちます。デフォルトの答えは「すべてに一つのモデル」です。通常は品質重視でフロンティアモデル、またはコスト重視で安価なモデルです。どちらにせよ、お金を無駄にしています。 よく知られた2つの手法があり、それぞれ単独で30～50%削減します。しかし、ほとんどの人が見逃している第3の選択肢があります。それは、これらを組み合わせることです。組み合わせは加算的ではなく、乗算的です。正しく行えば、同じワークロードのコストは、単純な1モデル構成の場合の3分の1未満になります。 その仕組みを説明します。 TL;DR プロンプトキャッシュは、システムメッセージやコンテキストが繰り返されるプロンプトにおいて、入力コストを40〜90%削減します。実装は1行のヘッダー変更で完了します。DeepSeek V4 Flash キャッシュ時: $0.0028/M ▸ モデルルーティングは、単純なタスクを低コストなモデルへ、複雑なタスクを最先端モデルへ振り分けることで、30〜50%のコストを削減します。オーケストレーションレイヤーは必要ですが、モデルの再学習は不要です。 組み合わせ → 合計70%以上の削減。信頼度しきい値によるフォールバックを備えた2モデルハイブリッド戦略が、最もシンプルにデプロイ可能なパターンです。リクエストの約85%を低コストなキャッシュ利用モデルにルーティングし、信頼度が低い場合に最先端モデルへフォールバックします。 ベンチマークによる実測値: 5回のシーケンシャル呼び出しを行うエージェントループで、セッションあたりのコストが$0.70から約$0.15に低下します。 [APIコストの最適化を始める →](https://api.meshs.one/sign-up?aff=9med&utm_source=blog&utm_medium=post&utm_campaign=prompt-caching-smart-routing-developer-guide&utm_content=tldr&utm_language=en) 開示: 私はAI APIゲートウェイであるMeshs Oneで働いています。以下の価格は公開されているプロバイダーデータに基づきます。Meshs Oneに言及している場合、それはいくつかの選択肢のうちの一つとしてです。 パート1: プロンプトキャッシュ — なぜ同じトークンに二重払いしているのか LLM APIを呼び出す際、すべてのリクエストはプロンプト全体 — システム指示、会話履歴、Few-shot例 — を新しいユーザーメッセージとともに送信します。これらのトークンのほとんどは、リクエスト間で同一です。 プロンプトキャッシュは、最近見られたプレフィックストークンを推論サーバーに保存します。プロンプトの先頭がキャッシュされたプレフィックスと一致する場合、通常のレートのごく一部で課金されます。すべての削減効果は入力側から生まれます。 キャッシュされるもの（されないもの） キャッシュされる キャッシュされない システムメッセージ（セッション間で同一） ユーザーメッセージ（通常リクエストごとに一意） Few-shot例（固定セット） ツール呼び出しの出力（実行ごとに変動） 会話履歴のプレフィックス（同じシステムプロンプトで会話を再開する場合） ストリーミングレスポンス（出力は決してキャッシュされない） 長いコンテキストドキュメント（RAG参照資料） プロンプト途中の変更（分岐後にキャッシュは無効化） 実用的なルール：約200トークンを超える静的プレフィックスはキャッシュする価値があります。システムプロンプトが数百トークンに及ぶエージェントループでは、キャッシュヒット率が90%を超えることもあります。（DeepSeek V4 Flashのキャッシュ動作の詳細については、DeepSeek V4 Flash開発者ガイドをご覧ください。） 数値で見る効果 モデル キャッシュなし入力 キャッシュあり入力 節約率 DeepSeek V4 Flash $0.20/M $0.0028/M 98.6% GPT-5.6 (Terra) $2.50/M ~$0.50/M ~80% Claude 4 Sonnet $3.00/M ~$0.30/M ~90% GPT-5.6 (Luna) $1.00/M ~$0.20/M ~80% DeepSeek V4 Flashのキャッシュレートは外れ値です。100万入力トークンあたり$0.0028と、キャッシュなしの場合の70分の1のコストです。そのため、キャッシュされたトラフィックは総コストにおいて無視できるほどになります。OpenAIとAnthropicは80～90%のキャッシュ割引を提供しています。DeepSeekの生の入力コストはすでに低いですが、キャッシュ倍率によってさらに別次元のコスト効率を実現しています。 ...

Von Meshs One Team · 26. Juni 2026 · 9 Minuten Lesezeit Man sollte über AI-API-Gateways genauso denken wie über Cloud Computing im Jahr 2010. Damals lautete die Frage nicht »Soll ich die Cloud nutzen?«, sondern »Welche Cloud und wofür?« AWS, Azure und Google Cloud existierten bereits, jede mit unterschiedlichen Stärken. Die Unternehmen, die gewannen, waren diejenigen, die die Abwägungen verstanden und bewusste Entscheidungen trafen. Die Unternehmen, die verloren, waren diejenigen, die die Cloud entweder komplett ablehnten oder einen Anbieter willkürlich auswählten und auf das Beste hofften. ...