Kodokon kodokon.com

Ce que l'IA fait bien… et ce qu'elle rate

Apprenez à repérer les hallucinations, les connaissances datées et l'excès de confiance des assistants.

7 min · 3 questions

Ouvrir cette leçon dans Kodokon

Pour apprendre à programmer, une IA générative est un allié redoutable. Elle excelle à : expliquer une notion à votre niveau exact, reformuler autrement quand vous n'avez pas compris, donner des exemples supplémentaires à volonté, créer des exercices sur mesure et relire votre travail pour pointer vos erreurs. Aucun manuel ne s'adapte ainsi à vous, et aucun professeur n'est disponible 24 h/24. Mais cet allié a trois défauts qu'il faut connaître avant de lui faire confiance.

Premier défaut : les hallucinations. On appelle hallucination une réponse fausse mais formulée comme une évidence. Souvenez-vous de la leçon précédente : le modèle produit du texte *plausible*, pas du texte *vérifié*. Exemples réels : inventer une fonction JavaScript qui n'existe pas (comme un prétendu array.shuffle()), citer un livre jamais écrit, ou attribuer une citation à la mauvaise personne. Le texte est fluide, assuré, bien construit… et faux.

Deuxième défaut : des connaissances datées. Un modèle est figé au moment où son entraînement s'arrête ; cette date s'appelle la date de coupure (en anglais *knowledge cutoff*). Tout ce qui est apparu après - nouvelle version d'un langage, nouvelle bibliothèque, actualité - lui est inconnu, sauf si l'assistant dispose d'un outil de recherche web. Concrètement : si vous demandez « quelle est la dernière version de Python ? », la réponse peut être périmée sans que rien ne le signale.

Troisième défaut : l'excès de confiance. Un humain compétent dit « je ne sais pas » ou « je ne suis pas sûr ». Un LLM, lui, produit par défaut une réponse affirmative, car les textes hésitants sont rares dans son entraînement. Résultat : plus vous êtes débutant, plus vous risquez de prendre une supposition pour un fait. La parade : demander explicitement au modèle de distinguer ce qui est sûr de ce qui ne l'est pas.

PROMPT
Vous êtes un assistant rigoureux qui préfère avouer une incertitude plutôt que d'inventer.

Répondez à ma question ci-dessous en respectant strictement ces règles :
1. Distinguez clairement les FAITS ÉTABLIS des SUPPOSITIONS.
2. Si vous n'êtes pas sûr d'un point, écrivez « À VÉRIFIER : » devant.
3. Indiquez votre date de coupure de connaissances et signalez ce qui a pu changer depuis.
4. Terminez par la liste des sources officielles où je peux vérifier moi-même.

Ma question : [écrivez votre question ici]
Un garde-fou réutilisable : forcer l'IA à afficher ses incertitudes.

Le bon réflexe à prendre dès aujourd'hui : traiter l'IA comme un point de départ, jamais comme une source finale. Pour toute information importante (une syntaxe, une version, un fait), croisez avec la documentation officielle ou une source de référence. Ce petit effort de vérification n'est pas une perte de temps : chercher dans la documentation est une compétence de programmeur que vous entraînez au passage.

PROMPT
Vous venez de m'affirmer ceci : [collez ici l'affirmation de l'IA].

Jouez maintenant l'avocat du diable : donnez-moi les raisons pour lesquelles cette affirmation pourrait être fausse, incomplète ou périmée, puis dites-moi précisément comment la vérifier par moi-même (quelle documentation officielle consulter, quoi y chercher).
Faire douter l'IA de sa propre réponse : simple et très efficace.

Quiz de validation

Vérifiez que vous avez bien retenu les points clés de cette leçon.

  1. Qu'est-ce qu'une hallucination chez une IA générative ?
    • Un bug qui fait planter l'application
    • Une réponse fausse mais présentée avec assurance comme si elle était vraie
    • Une réponse volontairement mensongère programmée par l'éditeur
  2. Que désigne la « date de coupure » (knowledge cutoff) d'un modèle ?
    • La date à laquelle votre abonnement expire
    • La date limite après laquelle vos conversations sont effacées
    • La date de fin de son entraînement : il ignore tout ce qui est apparu après
    • La date de sortie de l'application mobile
  3. L'IA vous répond avec un ton très assuré. Que devez-vous en conclure ?
    • Rien : le ton assuré ne prouve pas que la réponse est juste
    • Que la réponse est fiable, sinon elle aurait exprimé un doute
    • Que la réponse vient d'une source officielle