Prompt Engineering avancé : Chain-of-Thought, Self-Consistency et les techniques qui marchent vraiment

Au-delà du prompt basique, des techniques comme le Chain-of-Thought ou le Self-Consistency permettent de multiplier par 2 à 3 la précision sur des tâches de raisonnement complexe.

Le prompt engineering ne se résume pas à "écrire une bonne instruction". Les recherches en 2023-2025 ont mis en évidence des techniques structurelles qui améliorent significativement les performances des LLM sur des tâches complexes, indépendamment du modèle utilisé.

Chain-of-Thought (CoT) : forcer le raisonnement pas à pas

La technique CoT consiste à demander explicitement au modèle de raisonner étape par étape avant de répondre. L'ajout simple de "Réfléchissons étape par étape" dans un prompt améliore de 20 à 40% les performances sur des problèmes mathématiques, logiques ou de classification complexe.

La version "Few-Shot CoT" est encore plus puissante : on fournit 2 à 3 exemples de raisonnement complet dans le prompt, ce qui "montre" au modèle la structure attendue.

Self-Consistency : voter entre plusieurs réponses

La Self-Consistency génère plusieurs réponses indépendantes pour le même prompt (avec une température élevée), puis sélectionne la réponse majoritaire. En pratique, générer 5 à 10 completions et voter améliore de 10 à 15% la précision sur des problèmes de raisonnement — au prix d'un coût multiplié par le nombre de runs.

C'est très utilisé dans les pipelines où la précision prime sur le coût (décisions médicales, analyse légale, scoring de crédit).

Tree of Thoughts (ToT) : explorer des branches de raisonnement

ToT étend CoT en permettant au modèle d'explorer plusieurs branches de raisonnement en parallèle et d'"élaguer" les pistes peu prometteuses. C'est conceptuellement proche de la recherche arborescente en algorithmique.

En pratique, ToT est efficace sur des problèmes de planification (créer un plan projet, résoudre un puzzle logique) mais coûteux en tokens. Il reste surtout utilisé en recherche.

ReAct : raisonner et agir

Le pattern ReAct (Reasoning + Acting) alterne raisonnement et appels à des outils (recherche web, calcul, base de données). Le modèle "pense à voix haute", décide d'une action, observe le résultat, puis continue son raisonnement. C'est la base de la plupart des frameworks d'agents modernes.

Ce qu'il faut retenir

Pour la majorité des cas professionnels, deux techniques suffisent : CoT zero-shot ("Raisonne étape par étape") pour les tâches complexes, et des exemples Few-Shot bien choisis pour les tâches répétitives. Le reste est à sortir ponctuellement quand la précision est critique.

Articles liés