Embauché il y a 2 ans pour digitaliser les process, Alexandre Aubry raconte tous les changements que cela a induit : transformation de l'organisation, de l'infrastructure matérielle et réseau, ouverture et décommissionnement progressif de l'ERP Cobol...
Nous avons assisté à la conférence client de l'entreprise Orange à Agile en Seine. Cet article vous propose de découvrir comment l'IA Gen devient déjà un atout incontournable chez certains clients.
Un bon mix d'indicateurs - des KPI classiques ainsi que des KPI personnalisés - devrait vous aider, à condition de respecter un principe essentiel : faites simple !
Les benchmarks de LLM sont des jeux de données librement accessibles au public, conçus pour évaluer les performances et les capacités de ces modèles. Ces benchmarks sont créés par des chercheurs ou par des organisations et sont disponibles pour quiconque souhaite évaluer ses propres LLM. Ils ont 4 finalités :
L’évaluation des performances
Ils fournissent une méthodologie standardisée pour mesurer à quel point les LLM se comportent efficacement dans une variété de tâches, telles que la réponse à des questions, la création de résumés de texte, la traduction, etc.
La comparaison des modèles
Ils permettent aux chercheurs et aux développeurs de comparer différents LLM entre eux, en identifiant leurs points forts et leurs faiblesses.
Le suivi de la progression
Ils servent à suivre l'évolution des performances des LLM et à mettre en évidence les domaines qui nécessitent des améliorations.
Assurer l'équité et la transparence
En mettant à disposition du public ces benchmarks, d'autres utilisateurs peuvent ainsi reproduire et valider les résultats.
Il existe plusieurs manières d’évaluer des LLM : évaluations sans exemple préalable (on parle de “zero-shot learning”) ou avec exemples (“few-shot learning”), celles fondées sur l’interaction humaine, etc., ainsi que différents critères selon lesquels leur évaluation est faite (créativité, interactions avec d’autres modèles, compréhension du comportement humain, etc.).
Open LLM Leaderboard offre un large panel intéressant de benchmarks. TriviaQA, HumanEval, GSM8K et MMLU restent autrement des ressources pertinentes et sûres pour aborder la question de l’efficacité des LLM.
Embauché il y a 2 ans pour digitaliser les process, Alexandre Aubry raconte tous les changements que cela a induit : transformation de l'organisation, de l'infrastructure matérielle et réseau, ouverture et décommissionnement progressif de l'ERP Cobol...
Nous avons assisté à la conférence client de l'entreprise Orange à Agile en Seine. Cet article vous propose de découvrir comment l'IA Gen devient déjà un atout incontournable chez certains clients.
Matrice Impact vs Effort, Méthode MoSCoW, Scorings RICE & ICE vous aideront à évaluer et prioriser vos projets de data science, pour maximiser les chances d'un résultat satisfaisant - et aligné avec les objectifs stratégiques de l'entreprise.
Nos constatations empiriques sur les bénéfices de l'IA générative sont désormais appuyées par une étude : Google a interrogé plus de 2500 entreprises sur leur usage de la GenAI et le ROI est bien présent !