LLM : architecture d'un POC

Dans la série d'articles : Du POC à l'application d'entreprise

Les LLM sont des modèles de Machine learning capables de générer du texte, de traduire des langues, d'écrire différents types de contenu créatif et de répondre à des questions de manière pertinente. Ils sont encore en développement, mais ils ont le potentiel de révolutionner la façon dont nous interagissons avec la technologie.

Une architecture d'application LLM basique pour faire un POC est composée de deux éléments principaux : une interface homme-machine (IHM) de chat et un LLM.

L'IHM de chat

L'IHM de chat est une interface simple qui permet à l'utilisateur de communiquer avec le LLM. Elle est généralement basée sur un chat en ligne, où l'utilisateur peut saisir une requête et le LLM répondra avec un texte.

Le LLM

Le LLM est l'algo qui génère le texte. Il est accédé via une API. Il est capable de générer du texte qui est à la fois grammaticalement correct et pertinent pour le contexte de la conversation.

Limitations de l'architecture

Cette architecture est simple et facile à mettre en place, mais elle présente un certain nombre de limitations.

• Sécurité : L'IHM de chat est généralement ouverte à tous, ce qui signifie que n'importe qui peut interagir avec le LLM. Cela peut poser un problème de sécurité, car le LLM peut être utilisé pour générer du contenu malveillant ou offensant.
• Précision : Le LLM est formé sur un ensemble de données spécifique, ce qui signifie qu'il peut ne pas être précis pour tous les types de tâches.
• Performances : Le LLM peut être lent à répondre, ce qui peut être frustrant pour l'utilisateur.

Conclusion

Cette architecture est utile pour tester un LLM ou faire des démonstrations en interne. Cependant, elle ne doit pas être mise entre les mains d'un utilisateur final. Pour une application LLM en production, il est important de prendre en compte les limitations de cette architecture et de mettre en place des mesures de sécurité et de précision supplémentaires.

A lire :

LLM pour les CTO et les CIO

L’IA Générative pour CIO et CTO

TechWaves GenAI pour les devs.

WENVISIONJulie-Anne Armbruster