Démontrer la valeur produite par l’IA générative

<https://www.wenvision.com/tendances-tech-2025-construire-des-produits-qui-delivrent-vraiment-de-la-valeur/ TechTrends2025 #Produits

Après l’expérimentation des deux dernières années, la question de la valeur de la GenAI devient prégnante. Il revient donc au product manager d’aligner les métiers, la direction et les équipes de développement sur des objectifs clairs et mesurables en adéquation avec la vision stratégique de l’entreprise. 

• Les métriques d’usage du produit permettront d’analyser les comportements des utilisateurs. Le taux de rétention et la fréquence d’utilisation d’un agent conversationnel par exemple sont des métriques essentielles sur l’adoption du produit et l’appétence des utilisateurs pour la GenAI dans leur quotidien.

• Les métriques de performance du modèle choisi seront également à surveiller de près comme les temps de réponse et la consommation de ressources afin d’adapter au mieux son infrastructure à la volumétrie de demandes des utilisateurs.

• Les métriques de qualité veilleront quant à elles à la pertinence des  résultats dans le temps. Les modèles de LLM évoluent très vite, et de nombreuses alternatives plus spécialisées, moins chères et/ou moins gourmandes en ressources verront le jour. Il faudra s’assurer que la qualité ne soit pas affectée négativement par ces changements. La mise en place de résultats de référence et la mesure de dérivation par rapport à ces derniers permettront de prendre les bonnes décisions pour le produit. La pratique d’AB testing pour comparer les résultats d’un modèle par rapport à un autre aidera grandement dans cette tâche.