L'intégration de l'IA générative dans les processus de développement transforme radicalement l'expérience développeur, ainsi que les *soft* et *hard* skills attendues.
Avec sa mise à jour 2025, la FinOps Foundation fait tomber les cloisons : désormais, toutes (ou presque) les ressources IT — SaaS, datacenters, IA, cloud public — entrent dans le radar
Les systèmes agentiques connaissent une vogue extraordinaire qui masque parfois leurs limites et les défis qu'ils soulèvent.
Les benchmarks de LLM sont des jeux de données librement accessibles au public, conçus pour évaluer les performances et les capacités de ces modèles. Ces benchmarks sont créés par des chercheurs ou par des organisations et sont disponibles pour quiconque souhaite évaluer ses propres LLM. Ils ont 4 finalités :
Ils fournissent une méthodologie standardisée pour mesurer à quel point les LLM se comportent efficacement dans une variété de tâches, telles que la réponse à des questions, la création de résumés de texte, la traduction, etc.
Ils permettent aux chercheurs et aux développeurs de comparer différents LLM entre eux, en identifiant leurs points forts et leurs faiblesses.
Ils servent à suivre l'évolution des performances des LLM et à mettre en évidence les domaines qui nécessitent des améliorations.
En mettant à disposition du public ces benchmarks, d'autres utilisateurs peuvent ainsi reproduire et valider les résultats.
Il existe plusieurs manières d’évaluer des LLM : évaluations sans exemple préalable (on parle de “zero-shot learning”) ou avec exemples (“few-shot learning”), celles fondées sur l’interaction humaine, etc., ainsi que différents critères selon lesquels leur évaluation est faite (créativité, interactions avec d’autres modèles, compréhension du comportement humain, etc.).
Open LLM Leaderboard offre un large panel intéressant de benchmarks. TriviaQA, HumanEval, GSM8K et MMLU restent autrement des ressources pertinentes et sûres pour aborder la question de l’efficacité des LLM.
Aude Calais
Pour recevoir l'intégrale des Tendances Tech 2024 en PDF, c'est par ici.
L'intégration de l'IA générative dans les processus de développement transforme radicalement l'expérience développeur, ainsi que les *soft* et *hard* skills attendues.
Avec sa mise à jour 2025, la FinOps Foundation fait tomber les cloisons : désormais, toutes (ou presque) les ressources IT — SaaS, datacenters, IA, cloud public — entrent dans le radar
Les systèmes agentiques connaissent une vogue extraordinaire qui masque parfois leurs limites et les défis qu'ils soulèvent.
Les discours sur l’avenir du travail oscillent souvent entre euphorie technologique et scénario catastrophe. D’un côté, l’IA nous promet un monde plus efficace, de l’autre, elle signe l’arrêt de mort de milliers d’emplois. Entre ces deux extrêmes, la réalité est évidemment plus complexe.
