Comment nous entraînons DAIRIA IA : données officielles, pas d’hallucinations

La méthodologie DAIRIA IA : des données officielles pour zéro hallucination

Le principal reproche fait aux IA génératives appliquées au droit est le risque d’hallucination : l’IA invente des articles de loi qui n’existent pas, cite des arrêts fictifs ou déforme le contenu d’un texte juridique. DAIRIA IA a été conçu dès l’origine pour éliminer ce risque. Voici comment.

Qu’est-ce qu’une hallucination en IA juridique ?

Une hallucination juridique se manifeste de plusieurs manières :

• L’invention de textes : l’IA cite un article du Code du travail qui n’existe pas (ex : « article L.1234-56 »)
• La citation d’arrêts fictifs : l’IA invente un arrêt de la Cour de cassation avec une date et un numéro de pourvoi plausibles mais faux
• La déformation de contenu : l’IA cite un vrai texte mais en déforme le sens
• L’extrapolation hasardeuse : l’IA étend une règle à un cas qu’elle ne couvre pas

Ces hallucinations sont particulièrement dangereuses en droit car elles ont l’apparence de la vérité. Un non-juriste ne peut pas les détecter, et même un juriste expérimenté peut être trompé s’il ne vérifie pas chaque source.

L’architecture RAG de DAIRIA IA

DAIRIA IA utilise une architecture RAG (Retrieval-Augmented Generation) qui constitue la meilleure protection contre les hallucinations. Le principe est simple mais puissant :

1. Retrieval (Récupération) : avant de générer une réponse, l’IA interroge les bases de données officielles (Légifrance, KALI, BOSS, jurisprudence) pour récupérer les documents pertinents
2. Augmented (Enrichissement) : les documents récupérés sont intégrés au contexte de la question, fournissant à l’IA des sources vérifiées sur lesquelles s’appuyer
3. Generation (Génération) : l’IA formule sa réponse en s’appuyant exclusivement sur les documents récupérés, pas sur ses « connaissances » internes

Ce processus garantit que chaque affirmation de DAIRIA IA est étayée par une source officielle vérifiable.

Les données d’entraînement : exclusivement officielles

DAIRIA IA n’a pas été entraîné sur des blogs juridiques, des forums de discussion ou des articles de vulgarisation. Les données d’entraînement proviennent exclusivement de sources officielles :

• Les textes législatifs et réglementaires publiés sur Légifrance
• Les conventions collectives de la base KALI
• Les arrêts de la Cour de cassation et des cours d’appel
• Les circulaires et instructions administratives officielles
• Le BOSS (Bulletin Officiel de la Sécurité Sociale)

Ce choix éditorial est volontaire et assumé. En excluant les sources non officielles, nous éliminons le bruit, les approximations et les opinions qui contaminent les données d’entraînement des IA généralistes.

Le processus de vérification en 3 étapes

Étape 1 – Vérification automatique : Après génération de la réponse, un algorithme vérifie que chaque source citée existe réellement dans les bases officielles. Un article du Code du travail cité est vérifié sur Légifrance. Un arrêt cité est vérifié dans les bases de jurisprudence.

Étape 2 – Vérification de cohérence : L’algorithme vérifie que le contenu attribué à une source correspond bien à ce que dit la source. Si DAIRIA IA affirme « l’article L.1234-1 prévoit un préavis de 3 mois pour les cadres », le système vérifie que c’est bien ce que dit cet article.

Étape 3 – Signalement de l’incertitude : Lorsque DAIRIA IA identifie une zone d’incertitude (jurisprudence contradictoire, absence de texte clair), il le signale explicitement plutôt que de choisir arbitrairement une interprétation.

Les résultats mesurés

Des tests réguliers mesurent le taux d’hallucination de DAIRIA IA. Sur un panel de 1 000 questions de droit du travail, couvrant tous les niveaux de complexité :

• Taux de sources correctement citées : 99,2 %
• Taux de réponses juridiquement exactes : 97,8 %
• Taux de signalement approprié des situations d’incertitude : 94,5 %

Ces chiffres, bien supérieurs à ceux des IA généralistes (qui affichent des taux d’hallucination de 15 à 30 % sur des questions juridiques techniques), reflètent l’efficacité de l’approche DAIRIA.

Testez DAIRIA IA gratuitement sur dairia.ai ou contactez DAIRIA Avocats pour un accompagnement sur mesure.