Gérer le problème d'hallucination des LLMs : L'approche de Copilex
Avec l'intégration croissante des outils pilotés par l'IA dans le secteur juridique, l'émergence de références hallucinées (c'est-à-dire des citations fabriquées ou des autorités légales générées par des systèmes d'IA) est devenue une préoccupation majeure pour les avocats, juristes et entreprises.
Des articles récents de CIS de Stanford et 404 médias, qui s'appuient sur les recherches en cours menées par le chercheur/praticien français Damien Charlotin, font état d'une augmentation du nombre de dossiers juridiques contenant des lois, des réglementations ou des précédents inexistants.
En analysant 114 affaires américaines dans lesquelles les dossiers d'avocats contenaient des inexactitudes causées par l'IA, les auteurs ont découvert que la grande majorité impliquaient des praticiens indépendants ou de petits cabinets, s'appuyant non seulement sur certains fournisseurs d'IA généraux tels que ChatGPT ou Claude, mais également sur des assistants juridiques IA spécialisés proposés par des éditeurs renommés.
Dans tous les cas, ces praticiens font face à des risques professionnels, financiers et de réputation tels que sanctions, érosion de la confiance des clients et exposition à des réclamations pour faute professionnelle.
Le maintien de la fiabilité et de l'intégrité du contenu juridique généré par l'IA est d'une importance capitale dans le contexte du travail juridique. De fait, il s'agit de la première préoccupation exprimée par nos clients lorsque nous discutons de l'intégration des outils d'IA juridique dans leur quotidien.
Dans cet article, nous abordons la nature des références hallucinées, les limites des approches d'atténuation actuelles et l'approche de Copilex visant à renforcer la confiance de nos clients dans l'IA juridique.
Le problème des hallucinations des LLMs
Les grands modèles de langage (LLMs), largement déployés dans les applications juridiques actuelles, génèrent du texte en fonction de leurs données d'entrainement plutôt que de puiser dans des bases de données juridiques en temps réel. Cela signifie que les LLM ne contiennent qu'une collection partielle de lois, de réglementations et de précédents, limitée aux données qui ont été compressées dans les poids du modèle au moment de la formation. Ils ne savent rien des références juridiques qui ne figuraient pas dans l'ensemble de données d'entraînement d'origine et/ou qui sont apparues après l'entrainement du modèle. Pourtant, comme ils sont entrainés pour générer des réponses textuelles plausibles, les LLM peuvent produire des références qui semblent légitimes mais qui n'ont aucune réalité. Ce phénomène est communément appelé « hallucination ».
Bien que les LLM excellent en matière de résumé, de rédaction et de synthèse, ce ne sont pas des systèmes de citations ou des bases de données de vérité. Lorsqu'un prompt fait appel à une autorité légale spécifique et qu'aucune n'est présente dans le contexte du modèle, un LLM peut toujours produire des citations plausibles mais inexistantes, ou mal indiquer des citations réelles.
Cette caractéristique découle de la conception probabiliste des LLM : ils génèrent un texte conforme aux normes linguistiques, sans avoir pour autant la capacité intrinsèque de vérifier l'exactitude des faits, à moins qu'il ne soit complété par des informations à jour et faisant autorité.
Dans la pratique juridique, les conséquences de telles erreurs peuvent évidemment être importantes. Les sources fabriquées ou mal attribuées peuvent donner lieu à des conseils juridiques inexacts et à des violations déontologiques.
Les limites des approches limitées à la source
Pour faire face à ces risques, de nombreux éditeurs légaux ont introduit des systèmes basés sur LLM qui, selon eux, ne produisent pas d'hallucination car fonctionnant exclusivement sur leurs bases de données propriétaires.
Bien que cette approche limite efficacement la fréquence des hallucinations en cantonnant le travail de l'IA à un corpus documentaire fiable, elle ne résout pas complètement le problème.
En effet, bien que réduites, les hallucinations ne sont pas éliminées. Les LLM peuvent toujours mal citer, mal interpréter ou mal interpréter, même du contenu vérifié. Et même dans les solutions d'IA juridique proposées par des éditeurs juridiques renommés, les avocats peuvent trouver des références hallucinées et risquer de s'y fier malheureusement dans leur travail s'ils n'y prêtent pas attention.
En outre, ces systèmes propriétaires limitent les utilisateurs aux documents sélectionnés par un seul éditeur, ce qui peut ne pas inclure toutes les sources juridiques pertinentes, en particulier dans les domaines nécessitant des recherches approfondies ou inter-juridictionnelles.
Pour les praticiens engagés dans des recherches juridiques complexes ou nouvelles, l'équilibre entre précision et inclusion des sources n'est ainsi toujours pas résolu.
L'approche Copilex : une IA juridique multimodale
Les récents progrès de l'IA, en particulier le développement d'architectures agentiques intégrant plusieurs LLMs, des outils de recherche sur le Web et des modules de vérification, offrent un potentiel accru en termes de précision et de champs d'application.
Chez Copilex, nous avons adopté cette orientation dès le premier jour, en développant un système agentique à plusieurs niveaux pour répondre aux exigences des professionnels du droit.
Le système d'IA juridique de Copilex s'appuie notamment sur des outils qui (i) effectuent des recherches sur le Web afin de trouver des sources fiables à l'appui de déclarations, en mettant l'accent sur un corpus de sites Web approuvés, sélectionnés par notre équipe d'avocats comme sources fiables, et (ii) vérifient automatiquement toutes les références à des sources légales pour s'assurer que non seulement la référence est correcte, mais également que le contenu correspond exactement à l'argument qu'il est censé étayer. Et en fin de compte, supprimer tous les points pour lesquels Copilex ne trouverait pas de soutien fiable.
Ces fonctionnalités réduisent la prévalence des références hallucinées et permettent aux professionnels du droit d'auditer efficacement les résultats de l'IA.
Cependant, aucun système d'IA ne peut prétendre à l'infaillibilité. Bien que les technologies de Copilex réduisent considérablement le risque de références hallucinées, des inexactitudes restent possibles, et l'évolution de l'environnement juridique peut présenter de nouveaux défis susceptibles de poser des difficultés à notre système.
Nous faisons preuve de transparence quant à ces limites à l'égard de nos utilisateurs et travaillons en permanence avec eux pour affiner nos modèles et nos processus de vérification, en tenant compte des commentaires des utilisateurs et des dernières recherches.
Néanmoins, même les solutions d'IA juridique les plus sophistiquées comme Copilex doivent être utilisées sous la supervision d'experts. Le jugement humain et la diligence restent indispensables dans tous les travaux juridiques.
Accompagner les organisations dans leur adoption de l'IA juridique
L'adoption efficace de l'IA légale nécessite donc une attention qui va bien au-delà du seul déploiement technique d'un assistant IA.
L'intégration continue et la formation régulière des praticiens sont essentielles. Il en va de même pour l'adoption de politiques internes de l'utilisation de l'IA et de règles de gouvernance au sein des organisations, visant à garantir que les équipes utilisent au mieux l'IA tout en maintenant le risque au niveau le plus bas possible.
C'est pourquoi nous accompagnons nos clients au-delà du simple déploiement de l'assistant d'IA juridique de Copilex, en les aidant à intégrer l'IA de manière responsable, en veillant à ce que les équipes comprennent à la fois ses capacités et ses afin de garantir de véritables gains de performance sur le long terme.
Pour en savoir plus sur la manière dont Copilex peut aider votre organisation à adopter l'IA légale en toute sécurité, contactez-nous ou organisez une démonstration.