Limites, usages et défis de l’IA générative

Dans la première partie de la série, nous avons abordé les fondamentaux des LLM. Nous avons vu que les modèles de langage sont des IA entraînées sur d’énormes bases de données textuelles pour interpréter le langage humain et générer des réponses cohérentes. Il existe 6 étapes clés pour la construction d’un LLM : la collecte et traitement des données, la configuration initiale, l’entraînement intensif, la vérification et amélioration. Nous avons également abordé des notions importantes tel que les « tokens » qui sont des unités de texte utilisées pour nourrir le modèle de langage, ainsi que le « fine-tuning » qui se caractérise par le réentraînement d’un LLM déjà entraîné, dans le but d’incorporer des informations complémentaires. Nous avons aussi pris le temps de déconstruire des idées reçues : 

1. Contrairement à ce que l’on pourrait croire, un LLM comme ChatGPT n’apprend pas des questions posées par les utilisateurs.  
2. Les hallucinations ne peuvent être évitées en raison de leur architecture basée sur des probabilités, l’absence de compréhension profonde et les limites des données d’entraînement.

Pour plus de détail, nous vous invitons à (re)lire la première partie : Découverte des fondamentaux des LLM !

Les limites des LLMs

Une fois qu’un modèle d’IA générative est entraîné, il devient statique et ne peut plus être modifié, sauf en procédant au processus de fine-tuning, un ajustement spécifique pour adapter les réponses du LLM. Pour maintenir la pertinence de ses informations, ChatGPT, par exemple, est connecté à Internet et réalise des recherches en temps réel via Bing. Cela lui permet d’enrichir son contexte et de fournir des réponses actualisées, sans nécessiter une révision complète de son entraînement initial.

D’autre part, les LLMs ne répondent pas toujours avec fiabilité. Un test mené sur StackOverflow a révélé que ChatGPT se trompe dans 54 % des cas lorsqu’il répond à des questions de programmation. De plus, une étude réalisée par l’Université de Hong Kong en 2023 a mis en évidence que 36 % des réponses générées par les LLMs étaient incorrectes. Cela montre que, bien que ces modèles soient performants pour certaines tâches, ils ne peuvent pas toujours être considérés comme des sources fiables, notamment pour des requêtes pointues ou complexes.

Usages actuels des LLMs

Ce qui est possible de faire avec un LLM VS ce qui est utile

On distingue vraiment ce qu’il est POSSIBLE de faire avec les LLMs VS ce qu’il est UTILE. A-t-on vraiment besoin de demander à ChatGPT la météo alors qu’une application dédiée peut faire le travail ? C’est possible, mais est-ce utile ?

Nous avons recensé 6 cas où l’usage d’un LLM apporte une valeur ajoutée considérable dans plusieurs domaines :

• Assistants personnels : Les grands modèles de langages alimentent des outils comme Microsoft Copilot et Siri, qui aident les utilisateurs à répondre à des questions, gérer des tâches quotidiennes et à accéder à des informations rapidement et efficacement. 

• Résumés automatiques : Ces modèles peuvent résumer des textes longs, ce qui est particulièrement utile pour traiter des documents juridiques, des études ou des rapports dans des secteurs tels que la finance, la recherche ou encore la santé.

   

• Traduction automatique : De plus en plus performants, les LLMs sont utilisés pour la traduction automatique, facilitant ainsi les communications à l’échelle internationale.

   

• Assistant juridique : Les Larges Languages Models permettent d’assister les professionnels du droit dans l’analyse et la rédaction de documents juridiques complexes, la recherche de jurisprudence, et la vérification de conformité. Ces modèles sont également utilisés pour fournir des réponses rapides aux questions juridiques courantes.

   

• Thérapeutes virtuels (médecine, psychologie, etc…) : Ils peuvent également être utilisés dans le domaine de la santé mentale et physique, en tant qu’assistants virtuels pour les thérapeutes ou comme soutien aux patients. Ils permettent de réaliser des analyses initiales, de proposer des exercices de gestion du stress ou des rappels pour les traitements.

   

• Écriture de code : Les outils comme GitHub Copilot permettent aux développeurs d’écrire du code plus rapidement et d’améliorer leur productivité en fournissant des suggestions intelligentes. 

Bien que les LLMs puissent générer des textes divers, résumer de longues informations ou même produire des conseils, l’utilité d’un LLM réside dans son adéquation aux objectifs pratiques plutôt qu’uniquement dans l’étendue de ses capacités.

Les conséquences de l’IA sur l’emploi ont-elles été étudiées ?

Ces innovations technologiques redéfinissent de nombreuses professions, suscitant parfois des inquiétudes quant à un possible remplacement des individus. On se questionne sur leurs limites et sur leur véritable efficacité dans certains contextes. Certaines entreprises tirent la sonnette d’alarme quant à l’impact de l’IA sur des professions spécialisées. Les sociétés de traduction*, par exemple, craignent que l’automatisation ne compromette la précision et la nuance de leur travail. Les avocats* aussi soulèvent des préoccupations quant à la fiabilité des réponses juridiques générées, et les thérapeutes* s’inquiètent de l’empathie limitée des modèles d’IA. En effet, en développement, des études* montrent que le code produit par les LLMs reste souvent à un niveau débutant, nécessitant encore l’intervention humaine pour des tâches complexes.

Les LLMs sont-ils utilisés à bon escient ?

De plus en plus présente dans les entreprises, l’utilisation de l’IA générative n’est pas toujours essentielle ou efficace. Bien qu’attrayants pour automatiser des tâches, générer du contenu, ou améliorer le service client, les LLMs peuvent être surdimensionnés pour certains usages, surtout si l’analyse ou la personnalisation avancée n’est pas critique. Beaucoup de décideurs craignent de rater le virage technologique* de l’IA, néanmoins, pour une meilleure utilisation éthique de ces technologies, il est important de bien évaluer leur impact réel, en comparant leurs avantages avec des solutions moins coûteuses et consommatrices en ressources.

Les modèles sont performants pour des tâches spécifiques, mais ils ne sont pas une solution universelle. Pour certains besoins, des outils plus simples et ciblés sont souvent plus adaptés, moins coûteux, et plus rapides à déployer.

Défis des LLMs

Bien que les LLM offrent des avantages indéniables, ils sont confrontés à 4 contraintes majeures pour leur bon fonctionnement : technique, écologique, économique, et légales.

Contraintes techniques :

Les LLMs imposent des contraintes techniques importantes, en raison de leur besoin d’une puissance de calcul colossale pour fonctionner efficacement. Par exemple, Microsoft prévoit l’acquisition de 1,8 million de puces GPU en 2024* pour soutenir ces besoins en calcul intensif. 

Les données d’entraînement doivent être nombreuses et remplir certains critères : 

• Elles doivent être qualitatives* et provenir de sources fiables (wikipedia, la presse, articles scientifiques, blogs…)
• Respecter les droits d’auteur* et les données personnelles*
• Être le moins biaisées possible*
• Multilingues* : Llama 3, par exemple, n’a été entraîné que sur 5% de langues non anglophones
• Non empoisonnées* : données sources non manipulées avant entraînement des modèles

Face à la rareté des données disponibles en ligne, un phénomène appelé « data wall » est en train de se créer. Il désigne la difficulté d’accéder à des ensembles de données suffisamment variés, complets et de qualité pour entraîner efficacement les modèles de langages. Au lieu de se “nourrir” de données personnalisées et non biaisées, exemptes de manipulations, les modèles de langages risquent de s’alimenter de plus en plus en données de synthèse, produites par d’autres LLMs, ce qui peut nuire à leur précision et qualité.

Écologiques :

Les avancées récentes des modèles de langage posent d’importantes questions écologiques, notamment en ce qui concerne leur consommation d’énergie. Selon des projections, d’ici 2030, l’énergie nécessaire au fonctionnement de ces systèmes pourrait représenter jusqu’à 25 %* de l’approvisionnement énergétique total des États-Unis, une quantité équivalente à celle consommée par un pays entier*. Pour faire face à cette explosion de la demande énergétique, des entreprises comme Microsoft envisagent des solutions novatrices, y compris la construction de réacteurs nucléaires à petite échelle*. Des discussions émergent également autour de l’exploitation de la fusion nucléaire* pour alimenter ces technologies, comme l’indiquent des rapports sur l’intérêt d’OpenAI pour l’acquisition d’énergie de fusion auprès de Helion. 

En parallèle, la consommation d’eau nécessaire à la génération et au fonctionnement des LLMs soulève également des préoccupations majeures. En 2022, Microsoft a consommé près de 6,4 milliards de litres d’eau, un volume équivalent à environ 8 700 piscines olympiques*. Chaque génération de contenu à partir d’un Large Language Model nécessite des millions de litres d’eau, ce qui représente environ un demi-litre d’eau par interaction avec un service comme ChatGPT*. Ces chiffres illustrent non seulement l’empreinte écologique de ces technologies, mais aussi la nécessité urgente de trouver des solutions durables pour minimiser leur impact environnemental.

Économiques :

Au-delà des défis techniques et écologiques, les LLM impliquent également des coûts économiques élevés. La consommation électrique a fortement augmenté*, en grande partie à cause des besoins croissants liés à l’IA, ce qui entraîne des coûts énergétiques plus élevés pour les entreprises et les consommateurs. 

D’autre part, les ressources informatiques sont également importantes. Par exemple, le fonctionnement quotidien de ChatGPT nécessite environ 700 000 dollars par jour en ressources serveurs*, un coût qui rend difficile la rentabilité de ces outils à grande échelle. Ce chiffre met en lumière l’importance d’une infrastructure robuste et coûteuse pour assurer un service fiable.

La pénurie croissante d’ingénieurs spécialisés dans l’IA* accentue encore davantage ces défis économiques. Avec des salaires en hausse pour attirer les talents*, les entreprises doivent naviguer dans un marché du travail de plus en plus concurrentiel, rendant la mise en œuvre et le développement de ces technologies encore plus onéreux. Ensemble, ces facteurs contribuent à une dynamique économique complexe qui nécessite une attention particulière de la part des acteurs du secteur.

Légales :

Les LLMs soulèvent également des enjeux légaux, notamment en matière de protection des données personnelles. D’une part, le respect du Règlement général sur la protection des données (RGPD) est crucial, d’autant plus que la majorité des fournisseurs d’IA génératives sont basés aux États-Unis*. Ces modèles peuvent avoir été entraînés sur des données personnelles*, et les prompts que nous soumettons peuvent également être utilisés pour affiner leur apprentissage*. Cela soulève des questions sur l’utilisation des modèles de langages avec des données sensibles et la nécessité de garantir la confidentialité des utilisateurs.

D’autre part, l’IA ACT*, qui est entré en vigueur le 1er août 2024, vise à assurer que les systèmes d’intelligence artificielle respectent les droits fondamentaux des citoyens européens*. Ce texte impose des exigences telles que la transparence maximale, la mise à jour des documents techniques, le respect du droit d’auteur européen, ainsi que l’obligation de fournir des résumés des contenus utilisés pour l’entraînement. Il exige également la réalisation de tests pour garantir la sécurité des systèmes déployés. Ces mesures reflètent une tendance croissante, avec des cadres législatifs similaires en préparation dans d’autres pays*, soulignant l’importance d’une approche réglementaire cohérente pour encadrer l’utilisation des LLMs à l’échelle mondiale.

En outre, les entreprises doivent veiller à ce que les données collectées et utilisées pour entraîner les modèles respectent ces exigences légales, sous peine de sanctions. 

Pour conclure, les Large Language Models ont transformé notre approche de l’IA et sont devenus des outils indispensables dans divers secteurs. Toutefois, il est important de reconnaître leurs limites et de relever les défis associés à leur utilisation. Que ce soit pour surmonter les contraintes énergétiques, gérer les biais ou améliorer la fiabilité des réponses, les LLMs nécessitent une attention constante et une gestion prudente pour être utilisés de manière optimale. Par exemple, certains services se sont dotés de LLM pour des tâches où des outils plus simples et plus économiques pourraient suffire. Cette quête de modernisation rapide est aussi alimentée par le besoin d’améliorer l’expérience utilisateur, parfois au détriment d’une évaluation complète de l’utilité ou de la fiabilité des modèles de langages. Pour en maximiser l’usage, il est donc important que les entreprises évaluent avec soin les besoins spécifiques de leurs activités et s’assurent que les LLMs sont adaptés aux cas d’utilisation visés, en tenant compte de leurs limites et de leur coût environnemental et économique.

👉 Restez connecté pour la suite de la série “Focus IA Générative” : 

• Partie 3 : Quel avenir pour les LLMs ? Nous analyserons le marché des LLMs, les perspectives pour le futur et notre positionnement en tant qu’expert. 

(Veille et restitution de Mathieu Changeat)