Les développeurs doivent trouver une nouvelle forme de créativité
L'intégration de l'IA générative dans les processus de développement transforme radicalement l'expérience développeur, ainsi que les *soft* et *hard* skills attendues.
Conférence scientifique de référence sur l’IA, NeurIPS a dévoilé en décembre 2023 des avancées et des tendances clés pour 2024. Pour nous, quatre thèmes majeurs façonneront de manière significative l’année à venir.
La technique “Tree of Thoughts” a émergé comme une avancée majeure, permettant une structuration plus fine du processus de pensée. Evolution du modèle actuel de “chain of thoughts”, cette nouvelle technique consiste à structurer le processus de pensée du modèle sous forme d'arbre. Chaque branche de cet arbre représente une étape intermédiaire ou une sous-question qui aide à décomposer un problème complexe en éléments plus gérables. Ainsi, au lieu d'aborder un problème dans son ensemble, le modèle suit un chemin logique, examinant différentes possibilités et solutions étape par étape, ce qui permet une analyse plus approfondie et structurée.
Cette approche marque une progression vers des systèmes d'IA plus autonomes, capables de réflexion approfondie.
La plupart des modèles LLM actuels sont fondés sur des Transformers (le T de GPT). Cette architecture a pourtant des limites en termes de longueur de séquence et de coûts d’exploitation. De nouvelles architectures prometteuses sont apparues pour y remédier.
Mamba en particulier révolutionne le traitement des longues séquences de données et offre des performances accrues. Cette architecture ouvre de nouvelles perspectives pour des applications exigeant le traitement de grandes quantités de données. On évoque des séquences pouvant aller jusqu’à 1 million de tokens !
De nouveaux modèles et outils tels que Toolformer et Voyager soulignent la tendance vers des systèmes d'IA plus autonomes. Toolformer apprend à utiliser des outils externes, tandis que Voyager explore et acquiert des compétences dans des environnements virtuels, démontrant une capacité d'adaptation et d'interaction enrichie.
Les récentes études sur les LLM mettent en lumière la nécessité d'une analyse plus rigoureuse de leurs capacités cognitives. En se concentrant sur la planification et les cartes cognitives, ces recherches révèlent des lacunes notables dans la compréhension conceptuelle des modèles avancés tel que GPT-4. Les auteurs appellent à la création d'une méthodologie d'évaluation réaliste, soulignant que le chemin vers une IA authentiquement intelligente est parsemé d'obstacles méthodologiques et conceptuels.
Pour recevoir l'intégrale des Tendances Tech 2024 en PDF, c'est par ici.