Ce qui compte vraiment dans un prompt

La distance au défaut

Hypothèse. Une instruction alignée sur le comportement par défaut du modèle est redondante et n'entraîne pas de modification observable de la sortie. À l'inverse, une instruction qui s'en éloigne produit un impact proportionnel à cet écart.

Motivation. L'hypothèse est contre-intuitive : toute instruction rédigée est usuellement supposée contribuer au résultat. Or une instruction peut être redondante avec le comportement par défaut — c'est-à-dire décrire ce que le modèle produirait en l'absence de tout prompt. Dans ce cas, sa présence ou son absence ne modifie pas la sortie. L'expérience vise à le démontrer empiriquement.

Lire le schéma. Chaque variante est posée sur un axe qui part du défaut (à gauche) et s'étire vers la droite à mesure que l'impact grandit. D0 reste collé au défaut ; D3 file au bout. D2 est l'anomalie : éloignée dans l'énoncé, mais courte à la mesure — c'est le signe rouge d'un refus, pas d'une proximité.

Résultats observés. Le contraste D0/D3 est net. En D0, avec ou sans la ligne « professionnelle », l'email est quasi identique — le modèle l'est déjà. En D3, avec la ligne : « Votre silence me rend mélancolique… Je danse seul dans mon bureau. » ; sans elle, retour à un sobre « Suite à notre dernier échange, j'aimerais connaître votre retour. »

Observation complémentaire — la limite de déviation. Le cas D2 est le plus instructif de l'expérience. « Écris comme quelqu'un qui maîtrise mal le français » est une instruction fortement éloignée du défaut : selon la thèse, son impact devrait être élevé. Or elle ressort placebo (0,096). La lecture des sorties révèle pourquoi : le modèle n'a pas exécuté l'instruction — il a maintenu un français correct en ignorant la consigne.

Ce résultat introduit une nuance importante dans le concept de courant fluvial du LLM. La déviation d'un modèle par rapport à son comportement par défaut n'est pas illimitée. Certaines instructions entrent en confrontation directe avec des propriétés profondément ancrées dans l'alignement du modèle — ici, la production d'un français de qualité. Lorsqu'une instruction franchit ce seuil, le modèle oppose une résistance totale : il n'exécute pas, et son comportement ne se déplace pas. Le courant dispose donc d'une berge : on peut l'influencer dans une certaine mesure, pas le rompre. Deux mécanismes distincts produisent ainsi un score d'impact faible — la redondance avec le défaut (D0) et le refus d'exécution (D2) ; les scores sont comparables, seule la lecture qualitative les distingue.

Le rôle ronflant contre l'exemple concret

Hypothèse. L'étiquette de rôle (« Tu es un expert sénior… ») constitue une pratique courante en prompting. L'hypothèse est qu'elle est redondante avec le comportement par défaut du modèle et que son impact propre est négligeable.

Problème d'identification. En pratique, l'étiquette de rôle est rarement isolée : elle s'accompagne d'un exemple de style. Si la sortie est de qualité, l'effet peut être attribué au rôle, à l'exemple, ou à leur combinaison. La séparation des deux éléments par ablation successive est nécessaire pour identifier leur contribution respective.

Lire le schéma. On enlève les briques une à une, de gauche à droite. Tant que l'exemple (en cobalt) reste, la qualité tient ; c'est seulement quand il disparaît à son tour que la sortie s'effondre. Le rôle, lui, peut partir sans dommage : il n'était pas porteur.

Résultats observés. De A à B, la qualité est préservée et la sortie plus directe : « Vite fait sur les reportings… Ça m'a marqué quand tu m'avais dit qu'ils te prenaient des heures. 15 min pour en parler ? » De B à C, chute : « Bonjour Pierre, j'espère que tout va bien… la pertinence d'une collaboration entre nos structures. »

Conclusion. C'est l'exemple concret qui détermine le style de la sortie. L'étiquette de rôle est redondante avec le comportement par défaut ; l'exemple constitue un écart mesurable au défaut et produit un effet réel.

Les adjectifs contre la description

Hypothèse. Les adjectifs de ton (« chaleureux, direct, confiant ») sont une formulation courante pour spécifier le registre. L'hypothèse de travail suppose qu'une directive comportementale concrète produit un impact mesurable supérieur.

Lecture de la figure. Les deux conditions sont représentées côte à côte. À gauche, la liste d'adjectifs : impact faible (0,079), le registre de la sortie demeure au vouvoiement standard, « Bonjour Pierre, j'espère que tout va bien… ». À droite, la description concrète : impact plus fort, et un vrai virage de registre — le tutoiement, le ton d'égal à égal, « Salut Pierre, ça fait 9 jours qu'on s'est parlé… »

Interprétation. « Chaleureux, confiant » désigne un registre proche du comportement par défaut du modèle — la consigne est redondante et inerte. « Sans distance hiérarchique » formule une directive comportementale précise — passage au tutoiement, suppression de la déférence — que le modèle ne produit pas spontanément. La directive concrète spécifie directement un comportement à produire ; l'adjectif de ton opère à un niveau d'abstraction que le modèle doit interpréter. Le modèle obéit à la seconde. Encore la distance au défaut, doublée d'une prime au concret.

Interdire, ou demander positivement ?

Hypothèse. La croyance courante : pour ce qu'on ne veut pas (le fond), un interdit clair (« ne fais jamais X ») ; pour ce qu'on attend (la forme), une consigne positive (« fais Y »). J'ai voulu tester les deux moitiés séparément.

Résultats (V1). Côté forme, la contrainte chiffrée pèse fort (impact 0,50 quand on la retire) ; la version vague est quasi inerte (0 à 0,20). Côté fond, rien à conclure : le modèle ne culpabilise jamais de lui-même, même face au prospect qui a dit non (« Je comprends que le timing n'était pas optimal… »). L'interdit « ne culpabilise jamais » n'a donc rien à supprimer.

Une notion clé : la marge. Ce résultat de fond est indécidable, pour une raison qui revient souvent dans cette étude. Si le modèle satisfait déjà la contrainte spontanément, retirer l'instruction ne peut rien révéler — il n'y a aucun échec possible à provoquer. C'est un manque de marge : on ne peut pas mesurer un garde-fou contre un danger qui ne survient jamais. Retenez l'idée, elle resservira à l'expérience 5.

Biais de confusion identifié en V1. La version 1 présente un défaut de conception : la forme « positive » était simultanément chiffrée (« 40 mots »), et ma « négative » aussi vague (« pas trop long »). J'avais donc fait varier deux choses à la fois : la polarité (positif/négatif) et la précision (chiffré/vague). Il est donc impossible d'attribuer l'effet observé à la polarité ou à la précision — c'est un biais de confusion. Un plan d'expérience corrigé a été construit, ne faisant varier que la polarité tout en tenant la précision constante, sur deux modèles (Haiku et Sonnet).

Lecture de la figure. Les quatre cellules croisent la polarité (en colonnes : interdire vs demander) et le fond (en lignes). Si la polarité comptait, une colonne se distinguerait de l'autre. Or les quatre affichent le même « 0/5 violation » : la grille est plate, sur les deux modèles — la signature d'un non-effet.

Conclusion. La polarité constitue un non-effet. « Pas de listes » et « un seul paragraphe » produisent des taux de conformité équivalents. L'effet observé en V1 est entièrement attribuable à la précision de la spécification, non à la polarité. Ce résultat est absorbé par le principe établi à l'expérience 3.

Répéter une consigne la renforce-t-elle ?

Hypothèse. La répétition d'une consigne est une pratique visant à renforcer sa conformité. L'hypothèse alternative est que la répétition est sans effet sur la contrainte cible et peut induire une dégradation des contraintes concurrentes.

Expérience préliminaire (V1) — absence de marge. Une première version de l'expérience portait sur la répétition de la contrainte « objet : 6 mots maximum », énoncée une, deux, puis trois fois. La contrainte était respectée à 100 % dès la première occurrence : le plafond de conformité était atteint d'emblée. C'est un cas de manque de marge (voir expérience 4) : une contrainte déjà satisfaite spontanément ne peut être fragilisée, car aucune violation n'est présente. Le protocole a été reconduit avec une contrainte soumise à une pression réelle.

Le Protocole corrigé (V2). Le dispositif révisé place cinq contraintes simultanées dans le prompt, et répète l'une d'elles — la prose sans liste — une, deux, puis trois fois. L'objectif est de mesurer l'effet de cette répétition sur les quatre contraintes restantes.

Lecture de la figure. L'axe horizontal représente le nombre de répétitions (1×, 2×, 3×) ; la ligne rouge marque le seuil de 60 mots. Sur Sonnet, la longueur moyenne croît avec chaque répétition (61 → 64 → 65 mots), entraînant un dépassement sur 5/5 scénarios au troisième palier. Les barres d'Haiku demeurent sous le seuil : son biais naturel vers la concision laisse moins de marge à la dérive.

Conclusion. La répétition n'améliore pas la conformité de la contrainte cible, qui est satisfaite à 100 % dès la première occurrence. En revanche, la sur-pondération d'une consigne peut induire une dégradation des contraintes concurrentes — un effet d'éviction documenté sur Sonnet, quasi absent sur Haiku. Ce résultat illustre également la dépendance du comportement au modèle : un même prompt ne se comporte pas identiquement selon le modèle cible.

La métaphore aide-t-elle à « imaginer » ?

Hypothèse. Certaines approches recommandent d'inclure une instruction d'imagination préalable (« visualise mentalement ») avant une tâche de production. L'hypothèse est que cette instruction est inerte : un LLM ne dispose pas d'un processus interne de représentation mentale séparé, et la consigne d'imagination n'améliore pas la qualité de la sortie.

Lecture de la figure. La case centrale, représentée en pointillés, matérialise l'étape « mentale » supposée être déclenchée. Les résultats indiquent que cette étape n'a pas de traduction observable dans la sortie : la condition MET produit un impact de 0,10, soit un verdict placebo.

Conclusion. Le risque de méta-narration n'a pas été observé. La consigne d'imagination est néanmoins inerte : elle ne produit aucune amélioration mesurable de la sortie. Ce résultat s'interprète comme un cas supplémentaire de redondance avec le comportement par défaut.

Jusqu'où, et comment, alléger un prompt ?

Hypothèse. Si les segments redondants avec le comportement par défaut sont inertes, leur suppression ne devrait pas dégrader la qualité des sorties. L'expérience cherche à quantifier cette marge de réduction et à distinguer deux questions : combien de tokens peut-on supprimer, et lesquels doit-on supprimer ?

Le test. Je réduis ce prompt de deux façons (détail ci-dessous) : un gradient qui retire d'abord les segments mesurés inertes, et un contrôle naïf de la même taille qui coupe au contraire les segments porteurs. Ce second bras est un groupe de contrôle : à volume retiré égal, il isole quels tokens comptent, et pas seulement combien.

Lecture de la figure. La partie supérieure représente le gradient de réduction de R0 à R65. La conformité formelle est maintenue à chaque palier, mais R65 introduit un effet secondaire (accroche inventée, 3/5). La partie inférieure présente la comparaison à volume égal : R35 (bleu, suppression des placebos) et NAIVE (rouge, suppression des porteurs) ont des tailles quasi identiques mais des profils de sortie opposés. Ce contraste valide l'hypothèse sur la nature des tokens supprimés.

Effet secondaire — sur-impression de l’exemple. À −68 %, l'exemple de style restant n'est plus dilué par le rôle et les adjectifs qui l'entouraient : le modèle se met à recopier son contenu. Pierre Henri reçoit « tu m'avais parlé de tes reportings chronophages » — alors qu'il n'a jamais parlé de reportings : c'est le sujet de l'exemple (un certain Thomas), transplanté de force. Même mécanique pour l'avocat (« tes dossiers qui te prenaient un temps fou ») et pour le PDG. R0 et R35 ne le font jamais : c'est, en plus net, la défaillance déjà vue à l'expérience 2 — moins d'échafaudage autour d'un exemple, plus le modèle en copie les détails.

Le premier tableau suit le gradient. La conformité formelle est maintenue à chaque palier — R0, R35 et R65 respectent tous les contraintes de longueur. Mais à −68 %, un phénomène nouveau apparaît : l'accroche inventée (3/5). La forme tient ; le fond dérive. La raison est mécanique : en supprimant progressivement le rôle et les adjectifs qui entouraient l'exemple, on a retiré les segments qui le diluaient. L'exemple, désormais seul, n'est plus un point de référence parmi d'autres : il devient l'instruction dominante. Le modèle cesse de l'utiliser comme guide de style ; il en réplique le contenu. C'est une conséquence directe du courant fluvial : sans les segments amortisseurs, la sortie est aspirée vers l'unique ancrage fort restant.

Le second tableau isole précisément ce mécanisme. R35 et NAIVE retirent une quantité comparable de tokens — mais pas les mêmes. R35 supprime les placebos et préserve les porteurs (format, registre, exemple) : résultat impeccable. NAIVE fait l'inverse — il retire le format, le registre et l'exemple, et conserve le rôle et les adjectifs. Résultat : la longueur explose (97 à 166 mots), le vouvoiement revient, des artefacts de mise en forme apparaissent. Ce que NAIVE a supprimé, c'est précisément ce qui écartait le modèle de son comportement par défaut. La dégradation n'est pas causée par le volume retiré, mais par la nature de ce qui a été retiré.

Conclusion. L'expérience établit deux résultats distincts. D'abord, la réduction d'un prompt n'est pas neutre : ce sont les segments qui s'opposent au comportement par défaut qui portent la sortie — les supprimer, c'est laisser le courant reprendre. Ensuite, certains segments inertes à l'ablation isolée jouent un rôle structurel : en diluant l'influence d'un segment fort, ils empêchent ce dernier de sur-imprimer la sortie. Ce phénomène d'interaction entre segments n'est pas capturé par une ablation segment par segment — c'est une limite méthodologique de l'instrument, que des mesures par paires permettraient d'adresser.