Zenn·IA · Découverte · Ouverture
Ce que l'IA sait faire.
Huit capacités, vues du dehors — sans jargon, sans promesse. Chaque chiffre de ce module porte sa source et sa date : vous pouvez tous les rouvrir vous-même.
Découverte · aucun prérequis ~25 min
Capacité 1 · écrire & résumer
3,3 % d'erreur. Sur des documents réels.
3,3 % d'hallucination (meilleur score)
Le classement Vectara fait résumer aux modèles plus de 7 700 articles réels (technologie, finance, droit, médecine, science…) puis fait noter chaque résumé par un modèle-juge dédié : un résumé qui invente un fait absent du document source compte comme « halluciné ». Sur la version durcie du test (nov. 2025), le meilleur modèle mesuré ne se trompe que dans 3,3 % des résumés produits.
3,3 % est le meilleur score du classement, pas la moyenne des modèles testés. Le test a été durci en 2025 (articles jusqu'à 32 000 tokens) : les scores d'avant et d'après ne se comparent pas.
3,3 % est le meilleur score du classement (Gemini-2.5-flash-lite), pas la moyenne — Vectara a délibérément durci son test en 2025 après avoir constaté que l'ancienne version était devenue trop facile.
Capacité 3 · écouter (et parler)
680 000 heures d'audio. Zéro réglage manuel.
680 000 h d'audio — précision proche de l'humain
Le modèle de transcription Whisper a été entraîné sur 680 000 heures d'audio multilingue glané sur le web, sans réglage spécifique par langue ni par tâche (« zero-shot »). Ses auteurs concluent, dans l'article de recherche original : « comparés à des humains, les modèles approchent leur précision et leur robustesse » — y compris sur de l'audio difficile (accents, bruit de fond, vocabulaire technique), là où les systèmes précédents décrochaient.
Ce chiffre porte sur l'écoute — transcrire. Le sens inverse, faire parler et cloner une voix, est tout aussi mûr aujourd'hui, mais n'a pas sa preuve chiffrée dans ce module.
Capacités 7 & 8 · coder, agir seule
320 minutes en autonomie. Et ça double tous les 3 mois.
320 min de tâche autonome — doublement tous les ~89 jours
METR mesure, pour chaque modèle, la durée d'une tâche réelle d'ingénierie logicielle qu'il sait mener seul avec 50 % de fiabilité — le « time horizon », chronométré par le temps qu'un humain expérimenté mettrait à la résoudre. Au 29 janvier 2026 (protocole TH1.1), le modèle le plus capable mesuré (Claude Opus 4.5) tient 320 minutes (environ 5h20, intervalle 170-729 min) sans supervision. Cette durée double désormais tous les 89 jours environ, contre 7 mois de 2019 à 2023 — une accélération, pas une simple continuation.
01/2026 · METR — « Time Horizon 1.1 »
METR est un organisme de recherche indépendant sur la sécurité de l'IA, pas un éditeur de modèles : le même protocole est appliqué à tous les modèles testés.
METR est un organisme de recherche indépendant sur la sécurité de l'IA, pas un éditeur de modèles : même protocole pour tous les modèles testés.
La limite honnête
~50 %. Sur un test fait pour résister.
~50 % (meilleur score), contre 90 %+ sur les anciens tests
Humanity's Last Exam a été construit par le Center for AI Safety et Scale AI à partir de 2 500 questions de niveau expert, dans des dizaines de matières (mathématiques, sciences, lettres…) — spécifiquement pour succéder aux benchmarks précédents, où l'IA dépasse aujourd'hui 90 % (comme MMLU). L'étude, publiée dans Nature le 29 janvier 2026, conclut que même les meilleurs modèles restent à faible précision et mal calibrés sur ce test : un écart net demeure face au niveau d'un expert humain. Sur le classement public (consulté le 5 août 2026), le modèle le plus avancé mesuré plafonne autour de 50-52 %.
Classement vivant : le score plafond monte à mesure que de nouveaux modèles sont testés. Le chiffre à retenir n'est pas le pourcentage exact, c'est l'écart qui subsiste avec les anciens tests, aujourd'hui saturés au-delà de 90 %.
Classement vivant : le score plafond monte chaque semaine à mesure que de nouveaux modèles sont testés. Ce qui compte n'est pas le chiffre du jour, mais l'écart qui reste avec la quasi-totalité des anciens tests, aujourd'hui saturés au-delà de 90 %.
À emporter
Trois choses à retenir avant de continuer.
- 1Les six premières capacités sont mesurées — chacune a aussi une limite documentée, pas une rumeur. Deux autres (chercher dans des documents, prévoir) sont réelles mais pas encore chiffrées ici.
- 2Le meilleur score d'un classement n'est jamais la moyenne, et le chiffre le plus impressionnant n'est pas toujours celui qu'on peut vérifier soi-même : ça vous engage à vérifier, pas à faire confiance par défaut.
- 3Ce module montre ce que l'IA fait. Le comment ça marche et le comment bien formuler une demande viennent juste après.
