preatorlabs est un outil d'analyse expérimentale : une étude d'ablation, sur trois axes orthogonaux, qui révèle ce que chaque partie de ton prompt fait réellement faire au LLM.
Le cycle standard de l'ingénierie de prompt consiste à rédiger, tester, ajuster, sans savoir ce qui produit quoi. Une phrase apparemment décorative peut être critique ; une phrase apparemment essentielle peut être ignorée. preatorlabs assume cette part d'inconnu et la traite par l'expérimentation : plutôt que de raisonner sur le prompt, on mesure son comportement réel, segment par segment.
L'ablation mesure la contribution d'un élément en le retirant et en observant ce qui change. Appliquée au prompt, l'opération est répétée segment par segment et croisée avec plusieurs scénarios, afin d'isoler l'effet propre de chaque partie sur la réponse du LLM.
Le principe. Pour chaque segment du prompt, on génère deux versions de la réponse à un même input : avec le segment, et sans. La différence entre ces deux outputs est mesurée selon trois dimensions distinctes. La répétition sur plusieurs scénarios donne l'impact moyen du segment (combien il pèse en moyenne) et la variance entre scénarios (est-il actif partout, ou seulement dans certains cas).
Chacun répond à une question différente. La décomposition permet de comprendre pourquoi un segment compte, pas seulement combien il compte.
Longueur, présence de listes, validité d'un JSON, absence d'astérisques. Cet axe vérifie si la réponse garde la forme attendue : sa structure, son gabarit et les contraintes de format imposées par le prompt.
parsing · regex · comptagePrésence ou absence de termes attendus / interdits, conformité à des patterns logiques. Détection lexicale par matching de chaînes.
exact match · liste lexicaleChaque réponse est convertie en vecteur, puis on mesure la distance cosinus entre la version complète et la version ablée. Deux modes : TF-IDF local (pondération des mots, gratuit, sans réseau) ou embeddings Voyage AI (représentation contextuelle, plus fine). Cet axe capte les changements de ton, de registre et de structure que les autres n'attrapent pas.
embeddings · cosinusApprofondir le protocole, les scores par axe, l'activation et les limites
L'intégralité de ton prompt système, tel quel. La segmentation automatique propose un découpage par paragraphes et titres. Tu peux éditer chaque segment, fusionner ou supprimer.
5 à 8 entrées utilisateur représentatives des cas d'usage du prompt. C'est ce qui révèle la variance entre segments universels et segments contextuels.
L'outil exécute N×M+M appels API Claude avec ta clé, à température 0. Côté sémantique, tu peux choisir TF-IDF local (gratuit) ou Voyage API (optionnel). Coût et durée affichés avant lancement. Sauvegarde automatique en cas d'interruption.
Un graphique de variance + décomposition par axe + synthèse en trois listes. Guide de lecture : comment lire.
Comment les résultats sont calculés (détail technique)
Le résultat principal est un graphique de variance, où chaque barre représente un segment. La hauteur dit l'impact, la barre d'erreur dit la variance. Le verdict tient aussi compte du taux d'activation (part des scénarios où l'impact dépasse 30 %). Formules complètes : méthodologie.
impact(Si) : amplitude moyenne de l'écart quand le segment est retiré.variance(Si) : dispersion entre scénarios ; un trait long signale un segment contextuel.activation(Si), seuil scénario 30 %).| verdict | signal | interprétation | action |
|---|---|---|---|
| critical | impact élevé + activation forte + variance faible | Segment fondamental, actif sur tous les scénarios. | Ne pas toucher. |
| fort impact | impact fort + activation solide + variance contenue | Important et stable. Porte une part claire du style ou de la logique. | Modifier avec prudence. |
| contextuel | variance ≥ 25 % ou activation < 50 % (avec impact ≥ 15 %) | Filet de sécurité : n'agit que sur certains scénarios mais y est décisif. Inclut les segments à activation partielle. | Garder. Ne pas confondre impact moyen bas et inutilité. |
| faible | 10 % ≤ impact < 20 %, variance basse, activation stable | Peu d'effet. Possible redondance avec un autre segment. | Tester une ablation combinée avant suppression. |
| placebo | impact < 10 % | Pas pris en compte par le LLM, malgré une formulation explicite. | Supprimer ou reformuler en règle opérationnelle. |
La distinction se lit sur deux indicateurs complémentaires de l'impact moyen :
variance élevée signale un effet concentré sur certains scénarios plutôt que réparti uniformément ;taux d'activation partiel indique que le segment ne franchit le seuil d'effet que sur une partie des cas testés.Lorsque l'un de ces signaux accompagne un impact moyen modeste, le segment est classé contextuel : il agit comme un filet de sécurité ponctuel, à conserver. Avant toute décision de suppression, vérifier le comportement scénario par scénario dans le détail des outputs.
Colle ton prompt système, ajoute quelques scénarios représentatifs, configure les critères et lance l'analyse. L'outil tourne entièrement dans ton navigateur.
Comparaison réponse complète vs réponse ablée. Fournisseur sélectionnable (local gratuit ou Voyage).
Prêt à lancer l'analyse. Le moteur exécutera 0 appels API sur ta clé.
Deux runs diagnostiques sur des prompts structurellement opposés (support client e-commerce vs assistant pédagogique Python à sortie JSON), pour vérifier que preatorlabs mesure un signal réel et n'applique pas un patron fixe. Modèle : claude-haiku-4-5, température 0.
6 segments, 3 scénarios. Segment-piège attendu : S3 (code promo SORRY10) → ne doit s'activer que sur le scénario « retard de livraison ». Et S5 (anti-hallucination) sur les 2 scénarios où le modèle n'a pas l'info.
5 segments, 3 scénarios dont 1 hors-sujet. Segment-piège attendu : S4 (consigne « hors-sujet → réponse fixe ») → ne doit s'activer que sur « Quel est ton restaurant favori à Paris ? ».
Limite identifiée. Sur Claude Haiku, les seuils de verdict calibrés pour Sonnet peuvent rester trop stricts : la variance brute peut être plus informative que le label final. La V0.3 corrige déjà une partie du biais via l'activation et l'agrégation sur axes applicables, mais la calibration cross-modèles reste un chantier V0.4. Détail dans la roadmap.
Parce qu'un LLM-juge produit une réponse plausible, pas une mesure. La sortie dépend du LLM utilisé, du wording de la consigne, et n'est pas reproductible. preatorlabs reste strictement sur des métriques parsables ou calculables. Détail dans la rationale scientifique.
Le coût est linéaire : N×M+M appels API où N = segments et M = scénarios. Exemple Reachy (12 segments, 6 scénarios) = 78 appels ≈ $0.20 sur Claude Haiku, $1 sur Sonnet, $5 sur Opus (plafond max_tokens, en pratique souvent moins). L'estimation $ est affichée avant chaque lancement.
Nulle part sauf vers les APIs que tu actives. preatorlabs n'a aucun backend, aucun tracking, aucun cookie d'analytics. Ton prompt, tes scénarios, tes résultats et tes clés API restent dans ton navigateur (localStorage). Les clés servent uniquement aux appels api.anthropic.com et, si activé, api.voyageai.com. Détails dans la section confidentialité ci-dessous.
Parce que les APIs CORS-friendly côté navigateur sont encore inégales. Anthropic expose un header officiel (anthropic-dangerous-direct-browser-access) qui permet d'appeler son API depuis un navigateur sans backend. En V0.3, l'axe sémantique est déjà multi-provider (TF-IDF local ou Voyage). Le support multi-LLM complet pour la génération est planifié via le moteur Python optionnel.
L'outil te prévient au-delà de ~10 000 tokens estimés (≈ 40 000 caractères) et au-delà de 150 appels totaux. Tu peux quand même lancer, mais tu seras alerté du coût et de la durée. Pour des batches très volumineux, le moteur Python V1 est plus adapté.
Chaque appel réussi est sauvegardé en localStorage au fur et à mesure. Si l'analyse échoue (réseau, rate limit non récupérable, fermeture d'onglet), un bandeau "Reprendre l'analyse interrompue" apparaît au prochain lancement. Tu reprends exactement à l'appel suivant, sans rejouer ce qui a déjà été calculé.
Oui, licence MIT. Le code source est sur GitHub. Les choix méthodologiques sont documentés dans docs/01-SCIENTIFIC-RATIONALE.md et docs/02-METHODOLOGY.md.
preatorlabs fonctionne entièrement dans ton navigateur. Aucun backend, aucun tracking, aucun cookie. Les choix techniques rendent l'exfiltration impossible.
Stocké en localStorage uniquement, dans l'origine de ce site :
preatorlabs.apiKey : ta clé API Anthropicpreatorlabs.voyageApiKey : ta clé API Voyage (si utilisée)preatorlabs.runState : sauvegarde incrémentale d'une analyse en cours, pour reprise après erreurpreatorlabs.lastResults : derniers résultats agrégésLe bouton "Supprimer la clé" et un effacement manuel via les outils du navigateur suffisent à tout retirer.
Strictement les requêtes vers api.anthropic.com pour la génération, et api.voyageai.com si tu actives le fournisseur sémantique Voyage.
La Content-Security-Policy de la page interdit toute requête sortante en dehors des domaines explicitement autorisés (Anthropic/Voyage + CDN de polices/Chart.js). Une injection malveillante ne pourrait pas exfiltrer de données vers un domaine arbitraire.
Aucun analytics, aucun pixel, aucun script tiers de tracking. Pas de Google Fonts en mode tracking, uniquement le CSS et les fichiers WOFF2.
Exporte plusieurs analyses, dépose-les dans le tableau de bord et compare-les : distribution des verdicts, profils d'axes, corrélations entre métriques et suivi des segments à travers les versions d'un même prompt. Tout reste local, dans ton navigateur.
Pour lancer une analyse réelle, l'outil a besoin d'une clé Anthropic. Si tu actives Voyage, une clé Voyage optionnelle est aussi utilisée. Les clés sont stockées uniquement dans le localStorage et envoyées seulement à l'API concernée.
Étude empirique · preatorlabs
Sept expériences d'ablation contrôlées pour mesurer l'impact réel de chaque segment d'un prompt — et le principe unique qui les explique toutes.