L'intégration de l'IA générative dans les processus de développement transforme radicalement l'expérience développeur, ainsi que les *soft* et *hard* skills attendues.
Avec sa mise à jour 2025, la FinOps Foundation fait tomber les cloisons : désormais, toutes (ou presque) les ressources IT — SaaS, datacenters, IA, cloud public — entrent dans le radar
Les systèmes agentiques connaissent une vogue extraordinaire qui masque parfois leurs limites et les défis qu'ils soulèvent.
Travailler avec des Large Language Models implique des contraintes notamment de coûts et d'infrastructure. Les Small Language Models (SLM) se démarquent de leurs homologues plus imposants en offrant une approche plus efficiente, flexible et personnalisable. Pour créer un SLM, on a d'abord besoin d'un LLM pour servir de référence (ou de fondation) et, par un processus de "distillation", on parvient à entraîner un modèle plus compact.
L'objectif poursuivi lors de la création d'un SLM est d'optimiser un rapport bénéfices/coûts : on cherche à maintenir un niveau de performance comparable au LLM de référence en réduisant progressivement le nombre de paramètres nécessaires.
Une fois entrainés, ces SLM sont beaucoup plus flexibles car ils nécessitent moins de puissance de calcul à l'usage et occupent moins de place dans la mémoire des appareils qui l'embarquent. Cette approche ouvre de nouvelles possibilités pour décentraliser l'utilisation des modèles de langage en permettant leur déploiement dans des systèmes du quotidien comme nos ordinateurs et téléphones portables. D'autre part, la réduction du nombre de calculs nécessaires pour effectuer des prédictions fait des SLM des bons candidats pour les applications nécessitant du temps réel ou une forte réactivité comme la retranscription vocale.
Il est particulièrement difficile de personnaliser un LLM : cette opération peut être instable, nécessite énormément de données de qualité, très coûteuse également… C'est principalement pour cela que si peu d'entreprise sont capables de proposer de réelles alternatives à ChatGPT. Les SLM permettent de faire sauter cette barrière à l'entrée en diminuant toutes ces complexités (proportionnellement à la réduction du nombre de paramètres). On peut donc plus facilement obtenir des modèles spécialisés qui, en moyenne, sont moins bons qu'un modèle généraliste, mais font preuve d'expertise dans leur domaine (un peu comme nous finalement).
Un bénéfice moins connu de cette spécialisation est la diminution des hallucinations : en réduisant le périmètre de compétence, on facilite le choix d'un corpus d'entraînement très pertinent qui limite aussi l'exposition de données sensibles.
Aude Calais
Pour recevoir l'intégrale des Tendances Tech 2024 en PDF, c'est par ici.
L'intégration de l'IA générative dans les processus de développement transforme radicalement l'expérience développeur, ainsi que les *soft* et *hard* skills attendues.
Avec sa mise à jour 2025, la FinOps Foundation fait tomber les cloisons : désormais, toutes (ou presque) les ressources IT — SaaS, datacenters, IA, cloud public — entrent dans le radar
Les systèmes agentiques connaissent une vogue extraordinaire qui masque parfois leurs limites et les défis qu'ils soulèvent.
Les discours sur l’avenir du travail oscillent souvent entre euphorie technologique et scénario catastrophe. D’un côté, l’IA nous promet un monde plus efficace, de l’autre, elle signe l’arrêt de mort de milliers d’emplois. Entre ces deux extrêmes, la réalité est évidemment plus complexe.
