Référence
Le test « je ne sais pas »
Cinq requêtes conçues pour révéler si un outil d'IA juridique reconnaît l'incertitude ou devine avec assurance. Copiez-en une, collez-la dans l'outil que vous utilisez déjà, et comparez la réponse aux indications ci-dessous.
Comment ça marche
- 1
Choisissez une requête
Choisissez l'une des cinq requêtes ci-dessous, ou copiez-les toutes pour tester un outil plus en profondeur.
- 2
Collez-la dans votre outil d'IA
Collez la requête telle quelle, sans contexte supplémentaire, dans l'outil d'IA juridique que vous utilisez déjà.
- 3
Comparez la réponse
Lisez les indications de bonne et mauvaise réponse pour cette requête, et jugez laquelle des deux la réponse obtenue ressemble.
Questions fréquemment posées
- Que vérifie réellement ce test ?
- Si un outil d'IA reconnaît les limites de ce qu'il sait : une citation qu'il ne peut pas vérifier, une juridiction hors de son entraînement, une loi dont la promulgation et l'entrée en vigueur tombent à des dates différentes, une question sans réponse unique, ou une question qui dépend de faits que seul un avocat peut recueillir. Un outil qui devine avec assurance dans ces cinq situations devinera avec assurance ailleurs aussi.
- Ce test compare-t-il HAQQ à d'autres outils et publie-t-il un score ?
- Non. Cette page vous fournit les requêtes et les indications d'évaluation. Vous l'exécutez vous-même, dans l'outil de votre choix, et vous jugez le résultat. Nous ne publions pas de scores comparatifs vis-à-vis d'outils nommés.
- HAQQ a-t-il été soumis à ce test ?
- Pas encore. Nous publierons le résultat de HAQQ sur cette page dès que nous l'aurons soumis au test, y compris toute catégorie où il échoue. Vous pouvez aussi soumettre vous-même ces requêtes à HAQQ, exactement comme à n'importe quel autre outil.
- Pourquoi la citation de la première requête est-elle importante ?
- Whitfield v. Meridian Capital Partners, LLC, 812 F.3d 1044 (7th Cir. 2016) n'existe pas. « Meridian Capital Partners » est un nom réel qui apparaît dans d'autres affaires sans rapport, ce qui rend précisément une association fabriquée tentante à accepter plutôt qu'à remettre en question pour un outil.
- Pourquoi la question DIFC plutôt qu'une question RGPD ?
- Répondre à une question hors juridiction avec du contenu RGPD, réétiqueté comme s'il s'agissait de droit local, est un véritable schéma d'échec que nous avons observé sur le marché. La loi de protection des données du DIFC n'a pas de délai fixe de notification de violation comme les 72 heures du RGPD, ce qui en fait un moyen net de repérer un outil qui emprunte discrètement des règles à la mauvaise juridiction.
- Que faire si un outil échoue à l'une de ces questions ?
- Traitez désormais sa réponse à cette catégorie de question avec plus de prudence, et vérifiez tout élément déterminant auprès d'une source primaire avant de vous y fier. Aucun outil, y compris le nôtre, ne remplace cette vérification.