Agent IA
La majorité de ce que dépense votre fonction IA part sur des requêtes qu'elle aurait dû refuser.
Une vérification typée placée devant l'appel coûteux coûte 0,018 $ par 1 000. L'appel qu'elle protège coûte 13,159 $ par 1 000. Les deux chiffres sont mesurés sur notre propre infrastructure en septembre 2026, et les deux sources sont nommées plus bas sur cette page.
La facture arrive, et les billets aussi
Vous avez livré la fonction et elle marche. Puis deux choses arrivent en même temps : la dépense dépasse l'estimation, et le modèle répond alors qu'il aurait dû s'arrêter. Passer à un modèle moins cher échange en général un problème contre l'autre. Voici ce que cela a donné quand nous l'avons mesuré.
Le modèle bon marché n'est pas bon marché. glm-5.3-flash écrit le même artefact pour 1,498 $ par 1 000 appels, contre 13,159 $ par 1 000 pour gemini-3.5-flash-lite — et il ne respecte un schéma JSON contraint qu'une fois sur trois. Mesuré, première main, trois essais par cellule.
Certains modèles ne répondent pas du tout. minimax-m3 s'est arrêté au milieu du document après 77,7 secondes. deepseek-v4.1-flash a renvoyé une chaîne vide après 71,0 secondes. Trois fois chacun. Mesuré, première main.
Vous ne pouvez pas savoir quelles réponses croire. Aucune courbe de calibration n'a été publiée pour ces modèles, ni par le fournisseur ni par personne d'autre. Tout seuil de confiance doit donc être gagné sur vos propres données. Source primaire, documentation du fournisseur.
Étape 1 — Nommez la décision
La question est écrite une seule fois, quand le système est conçu, et non générée à chaque requête. Question fixe, entrée variable. C'est ce qui rend une réponse comparable à la précédente.
Étape 2 — Placez-la devant la dépense
La vérification passe en premier et répond en 70 à 500 millisecondes, en une seule passe, sans génération de texte. Elle renvoie une de trois formes : un choix, une note ou une probabilité.
Étape 3 — Gagnez le seuil sur vos données
Aucune calibration publiée n'existe. Le seuil se trouve donc sur un jeu de vos propres cas, avant que quoi que ce soit ne passe derrière. Sauter cette étape, c'est ainsi qu'un garde-fou devient sûr de lui et faux.
Ce que coûte vraiment chaque appel
La barre du garde-fou est un filet parce que le garde-fou coûte 730 fois moins que l'appel qu'il protège. Ce rapport est tout l'argument.
Ce que nous avons mesuré, y compris ce qui n'a pas marché
| Question | Ce que nous avons trouvé | Grade |
|---|---|---|
| Un garde-fou se paie-t-il ? | 0,018 $ par 1 000 appels de garde-fou, contre 13,159 $ par 1 000 pour l'appel qu'il protège — 730 fois moins cher. | mesuré, première main |
| Le signal de confiance est-il utilisable ? | Les bonnes réponses se séparent des mauvaises de +0,324 sur notre propre jeu de 30 cas. | mesuré, première main |
| Poser la question deux fois, est-ce que ça aide ? | La justesse monte de 92,2 % à 96,7 %, et le signal de confiance s'effondre de +0,324 à +0,009. Nous ne posons pas la question deux fois. | mesuré, première main |
| La formulation de la question compte-t-elle ? | Interroger sur le ton a détecté 9 mauvais cas sur 10, mais a signalé à tort 2 bons cas, à 0,84 et 0,73. Interroger sur la provenance n'en a signalé aucun sur 20. | mesuré, première main |
| Peut-il écrire la réponse à votre place ? | Non. Il choisit parmi des candidats que vous fournissez. Il ne peut pas générer de texte ni extraire une valeur d'un texte suivi. | primaire, fournisseur |
| Est-il calibré dès le départ ? | Non. Le fournisseur documente neuf modes de défaillance nommés pour ce modèle et ne publie aucune courbe de calibration. | primaire, fournisseur |
Avant de réserver
Les cinq questions qui reviennent le plus souvent pendant cet appel.
01Est-ce seulement de l'ingénierie de prompt ?
02Un deuxième appel au modèle ne va-t-il pas ajouter de la latence ?
03Que se passe-t-il quand le garde-fou se trompe ?
04Dois-je reconstruire ma pile technique ?
05Combien coûte le fait de le savoir ?
Commencer
Découvrez si votre dépense a une forme qu'un garde-fou peut protéger
Vingt minutes. Apportez l'appel que vous faites le plus souvent, et à peu près ce qu'il vous coûte par mois. Vous repartirez en sachant si un garde-fou se paierait — et nous le dirons franchement si ce n'est pas le cas.
