Bonjour à toutes et tous,

Au menu cette semaine :

• Après les transformers ?

• Impact de l’IA sur l’emploi

Bonne lecture.

Métamorphoses à l’ère de l’Intelligence Artificielle est en commande

Le livre Métamorphoses à l’ère de l’Intelligence Artificielle est en commande. Pour ce faire, il suffit de cliquer là.

Après les transformers ?

L’avènement des Transformers a conduit à l’accélération des capacités de l’intelligence artificielle. Cette architecture s’est imposée comme le socle de modèles de traitement du langage naturel, de la vision par ordinateur et même de tâches multimodales. Elle a permis des avancées incroyables dans la compréhension et la génération de contenu. Pourtant, derrière ce succès se cachent des limites intrinsèques qui freinent l’expansion vers des systèmes réellement intelligents et adaptatifs. Aujourd’hui, des pistes innovantes émergent. Elles remettent en question le paradigme établi en proposant des approches qui vont au-delà des mécanismes classiques des Transformers à l’image de l’architecture Titans de Google, qui a pour ambition d’intégrer des mécanismes de mémoire rappelant la complexité de notre propre cerveau. Il ne s’agit pas que d’une mise à jour technique …

Les limites des Transformers actuels
Les Transformers ont permis de franchir un cap majeur dans l’IA, notamment grâce à leur mécanisme d’attention qui permet une flexibilité inaccessible précédemment dans le traitement séquentiel des données. Cette architecture présente néanmoins plusieurs contraintes majeures :

• La fenêtre contextuelle limitée constitue une barrière. Les Transformers opèrent sur des séquences dont la longueur est capée. Cela impose une limite naturelle dans la capacité du modèle à comprendre des dépendances à long terme. Cette restriction se traduit par des difficultés lorsqu’il s’agit de traiter des documents volumineux ou des contextes où l’information dispersée sur de longues périodes est importante. Pour comprendre, la capacité des Transformers est comme un verre, si votre document est trop grand, c’est comme si vous vouliez verser 1l dans ce verre, cela va déborder. L’IA ne prendre en compte que le contenu du verre.

• Les modèles basés sur les Transformers peinent à gérer efficacement les dépendances à long terme. L’attention, si elle est puissante pour capter des relations immédiates ou proches, se montre moins efficace pour mémoriser des informations qui remontent loin dans le temps. Ce déficit est particulièrement problématique dans des applications où la rétention d’un historique étendu conditionne la qualité de l’analyse ou de la génération de contenu. Pour prendre une image, c’est comme si vous aviez une mémorisation de 5 années. Vous ne vous rappelleriez pas vos connaissances vues avant ces 5 ans.

• La consommation élevée de ressources computationnelles demeure l’un des talons d’Achille de ces architectures. Le coût en énergie et en matériel nécessaire pour entraîner et faire fonctionner des modèles de grande envergure est tout sauf négligeable. Dans un contexte où la transition énergétique et la durabilité technologique sont au cœur des préoccupations, cette inefficience induit des enjeux éthiques et économiques majeurs. Ces défis techniques poussent la communauté à repenser l’architecture des systèmes d’IA pour les rendre à la fois plus performants et plus responsables.

L’architecture Titans de Google
Face à ces défis, Google Research a initié une révolution silencieuse en proposant l’architecture Titans. Il s’agit d’un concept novateur inspiré par le fonctionnement de la mémoire humaine. Si l’on observe attentivement le cerveau humain, on remarque qu’il ne se contente pas d’un traitement linéaire de l’information. Il dispose de multiples niveaux de mémorisation allant du traitement immédiat à la rétention sur le long terme, jusqu’à la consolidation de connaissances abstraites et persistantes. Titans s’inscrit précisément dans cette logique et propose une approche hiérarchisée de la mémoire intégrée au modèle d’IA. L’architecture Titans se distingue par l’intégration de trois niveaux de mémoire, chacun jouant un rôle spécifique dans le traitement et la rétention de l’information.

1. Dans un premier temps, le Cœur (Core) représente le traitement du contexte immédiat. À l’instar du mécanisme d’attention des Transformers, ce niveau utilise des mécanismes de traitement rapides pour capter l’information présente dans une fenêtre de taille limitée. Ce module assure une réactivité et une compréhension fine des éléments récents, garantissant que le modèle reste performant sur des tâches nécessitant une analyse en temps réel.

2. Le second niveau, la Mémoire à long terme (Long-term Memory) est conçue pour stocker les informations historiques. Ce module, souvent implémenté sous la forme d’un module de mémoire neuronale, permet d’accéder à des données accumulées sur de longues périodes. Il offre ainsi au modèle la capacité de relier des éléments distants dans le temps ce qui améliorent la cohérence des réponses et la pertinence des analyses lorsque le contexte s’étend bien au-delà de la fenêtre immédiate.

3. Enfin, la Mémoire persistante (Persistent Memory) constitue le socle des connaissances de base. Contrairement aux modules précédents, ce niveau stocke des informations fondamentales qui ne dépendent pas de données spécifiques à une tâche ou à un contexte particulier. Il repose sur des paramètres apprenables qui se conservent au fil des itérations. Ce permet une rétention améliorée et une stabilité accrue. Cette couche de mémoire donne au système la capacité de conserver une forme de « savoir » quasi permanent, indispensable pour une compréhension globale et nuancée du monde.

Les avantages de l’architecture Titans sont multiples. D’une part, elle offre une gestion efficace de séquences extrêmement longues. Elle est capable de dépasser les 2 millions de tokens ce qui est un exploit qui ouvre des possibilités inédites dans le traitement de données massives. En plus, l’optimisation de l’utilisation des ressources computationnelles permet de réduire le coût énergétique et matériel ce qui est une bonne nouvelle. Pour finir, l’amélioration de la capacité de mémorisation dynamique pendant l’inférence confère au modèle une nouvelle flexibilité qui rendent possible l’adaptation en temps réel à des contextes évolutifs et imprévisibles.

Les critiques de Yann LeCun
L’architecture Titans ne saurait être envisagée sans rappeler les critiques acérées de Yann LeCun à l’encontre des grands modèles de langage actuels. Figure emblématique de l’IA, il n’hésite pas à pointer du doigt les lacunes des modèles basés sur les Transformers, qui, malgré leurs prouesses, peinent à saisir la complexité du monde réel. Pour Yann LeCun, l’un des défauts majeurs des LLM réside dans leur incapacité à comprendre véritablement le monde physique. Ces systèmes, malgré leur capacité à traiter et générer du texte, restent fondamentalement déconnectés de la réalité sensorielle et physique qui façonne notre expérience quotidienne. Ils se contentent d’un apprentissage statistique qui bien qu’efficace sur des tâches bien définies, ne parvient pas à reproduire la richesse des interactions humaines avec leur environnement.

Une autre critique centrale concerne l’absence de mémoire persistante. Sans un mécanisme de rétention de connaissances stables et évolutives, les modèles se retrouvent souvent limités à une compréhension éphémère, incapable de construire une base de savoir solide sur le long terme. Ce manque se traduit par des capacités de raisonnement limitées et une déficience en planification complexe. Ainsi, lorsqu’il s’agit de résoudre des problèmes nécessitant une analyse approfondie et une anticipation sur plusieurs étapes, les LLM actuels montrent rapidement leurs limites. Face à ces constats, il anticipe l’émergence de nouvelles architectures d’IA dans les trois à cinq prochaines années. Selon lui, il est fort probable que les systèmes actuels deviennent obsolètes face à des modèles intégrant des mécanismes de mémoire avancés et une capacité de raisonnement plus sophistiquée. Il propose d’ailleurs la mise en place d’une « IA guidée par les objectifs », un paradigme dans lequel le modèle serait capable de raisonner, planifier et interagir avec le monde physique de manière proactive. Cette approche, qui va au-delà de la simple prédiction textuelle, permettrait de construire des systèmes d’intelligence artificielle plus robustes, plus adaptatifs et, surtout, plus en phase avec la complexité du réel.

Vers une nouvelle génération d’architectures d’IA
Les critiques et les innovations évoquées ouvrent la voie à une véritable transformation des architectures d’IA. Si les Transformers ont indéniablement marqué une étape importante, il est désormais temps d’envisager leur évolution. Cette nouvelle génération promet d’améliorer significativement l’efficacité du traitement des données en repensant le mécanisme d’attention et en élargissant les capacités de compréhension contextuelle. Autrement dit, il ne s’agit plus seulement de capter des informations dans une fenêtre limitée, mais de les intégrer dans un cadre global plus en phase avec les dynamiques temporelles et contextuelles du monde réel. Au-delà des améliorations incrémentales, d’autres approches innovantes voient le jour. L’intégration de mécanismes de mémoire avancés inspirés directement des processus cognitifs humains apparaît comme une piste particulièrement intéressante. En mimant la manière dont notre cerveau fonctionne, il devient possible de concevoir des modèles capables de s’adapter en temps réel à des contextes complexes et changeants. Cette symbiose entre le biologique et le numérique n’est pas une simple analogie, mais une véritable source d’inspiration pour repenser l’architecture même de l’IA.

Il est intéressant de noter que ces évolutions ne se limitent pas à des améliorations techniques. Elles portent en elles une vision plus large, celle d’un futur où l’IA ne sera plus cantonnée à des tâches spécifiques ou à une compréhension limitée du langage, mais où elle pourra véritablement s’intégrer dans le tissu de notre réalité. Une IA capable d’interagir avec le monde physique, de raisonner de manière autonome et de planifier des actions complexes représente un changement majeur pour nos sociétés. Ce futur, qui semble encore lointain pour certains, se dessine pourtant déjà sous nos yeux. Il est porté par la convergence de la recherche en neurosciences, en informatique et en sciences cognitives. Dans cette optique, il est clé de rappeler que l’évolution des architectures d’IA ne doit pas être perçue comme une course effrénée à l’efficacité algorithmique sans considération de ce que nous sommes et par conséquence du rapport entre l’humain et la machine. Les différences qui nous caractérisent (notre capacité à ressentir, à imaginer, à innover) constituent une richesse que l’IA ne peut qu’amplifier si nous savons l’apprivoiser ou au contraire les annihiler.

En définitive, l’avenir de l’IA ne sera pas compromis par ses défis actuels mais par notre capacité à transcender ces derniers sans oublier nos propres limites et acceptation. À l’heure où l’innovation bat son plein, il est temps d’investir dans une recherche continue, audacieuse et résolument tournée vers l’avenir, afin de construire les systèmes intelligents de demain, capables de comprendre, d’interagir et de transformer le monde de manière plus nuancée et profondément humaine.

Mieux vaut s’occuper du changement avant qu’il ne s’occupe de nous !

Impact de l’IA sur l’emploi

Philippe Aghion (professeur au Collège de France et à l’Insead, coprésident de la Commission de l’intelligence artificielle), Simon Bunel (enseignant-chercheur associé à l’Ecole normale supérieure) et Xavier Jaravel (professeur d’économie à la London School of Economics) on publié une tribune dans Le Monde publiée le 07 février 2025 dont voici un résumé réalisé par o3 mini d’OpenAI qui est parfaitement juste :

Ce texte propose une lecture optimiste de la révolution de l’intelligence artificielle – en particulier de l’essor spectaculaire de l’IA générative – en insistant sur le fait qu’elle peut transformer positivement nos économies, à condition d’accompagner son déploiement par des politiques publiques adaptées. Voici les points clés développés dans le texte :

1. Deux sources d’accélération de la productivité :

   • Automatisation des tâches : L’IA permet de réaliser des tâches indispensables à la production de biens et services de façon plus rapide et efficace.

   • Facilitation de l’innovation : En améliorant les processus internes, l’IA contribue également à stimuler l’innovation au sein des entreprises.

   Exemple concret : Dans une entreprise américaine de service client, l’utilisation d’un assistant IA a permis d’augmenter la productivité de 14 % dès le premier mois, atteignant 25 % après trois mois. Ces gains ne se limitent pas aux emplois peu qualifiés, puisque des bénéfices similaires ont été observés chez les consultants, avocats et autres professionnels, avec en prime un effet de réduction des inégalités internes grâce à une amélioration plus marquée chez les travailleurs initialement moins productifs.

2. Estimations de l’impact macroéconomique de l’IA sur la croissance de la productivité :
   Le texte présente deux approches pour quantifier cet impact sur la prochaine décennie :

   • Approche historique : En comparant la révolution actuelle à d’autres révolutions technologiques passées, on estime une hausse de la croissance de la productivité agrégée de 0,8 à 1,3 point de pourcentage par an.

   • Approche basée sur le modèle de tâches d’Acemoglu : En s’appuyant sur un modèle théorique et les données empiriques les plus récentes, l’estimation se situe entre 0,07 et 1,24 point, avec une médiane à 0,68 point par an.

   Remarque importante : La médiane de 0,68 point doit être considérée comme un minimum, car elle ne prend pas en compte le potentiel de l’IA à automatiser partiellement le processus d’innovation, tout en n’intégrant pas certains freins potentiels comme le manque de concurrence dans des segments clés de la chaîne de valeur de l’IA.

3. Impacts sur l’emploi et la dynamique des entreprises :

   • Effets positifs sur l’emploi : Une étude basée sur des données françaises (2018-2020) montre que l’adoption de l’IA est associée à une augmentation de l’emploi total et des ventes. Les gains de productivité engendrés par l’IA permettent aux entreprises d’élargir leurs activités et de recruter davantage.

   • Hétérogénéité selon les usages :

     • Certaines applications, comme dans le domaine de la sécurité numérique, stimulent fortement l’emploi.

     • D’autres, par exemple dans les processus administratifs, peuvent avoir des effets négatifs plus faibles.

     Observation essentielle : L’impact positif se confirme même dans des secteurs traditionnellement jugés vulnérables à l’automatisation (comptabilité, télémarketing, secrétariat). Le principal risque pour les travailleurs réside ainsi dans leur remplacement par d’autres travailleurs dans des entreprises qui adoptent l’IA, plutôt que par l’IA elle-même.

4. Enjeux et recommandations politiques :
   Pour tirer pleinement parti de cette révolution technologique tout en minimisant ses effets négatifs, le texte souligne plusieurs axes d’action :

   • Politique de concurrence : Il est crucial d’éviter que les grandes entreprises dominantes dans la chaîne de valeur de l’IA n’empêchent l’arrivée de nouveaux innovateurs.

   • Soutien aux petites entreprises : Encourager l’adoption de l’IA par les PME, par exemple grâce à des dispositifs inspirés d’initiatives comme le Catapult Network au Royaume-Uni, afin de limiter la concentration du marché et d’élargir les bénéfices de la révolution technologique.

   • Formation et éducation : Pour renforcer le potentiel de l’emploi lié à l’IA, il faut garantir un accès généralisé à une éducation de qualité, accompagner les travailleurs par des programmes de formation adaptés et mettre en œuvre des politiques actives sur le marché du travail.

En résumé, le texte défend l’idée que la révolution de l’IA, loin de constituer une menace pour l’emploi, peut au contraire stimuler la croissance de la productivité et favoriser une augmentation globale de l’emploi, à condition que les entreprises et les pouvoirs publics s’adaptent rapidement. Pour réaliser ce potentiel, il est essentiel d’agir sur plusieurs leviers – amélioration de la concurrence, soutien aux PME et investissement dans l’éducation et la formation – afin d’accompagner cette transformation d’un point de vue à la fois microéconomique et macroéconomique.

Passons maintenant aux limites de ce raisonnement.

La révolution de l’IA et plus particulièrement l’essor de l’IA générative est souvent présentée comme le moteur inéluctable d’une croissance économique accélérée et d’une amélioration spectaculaire de la productivité. Derrière cet optimisme ambiant se cachent des raisonnements qui méritent d’être critiqués. En effet, augmenter la productivité ne signifie pas automatiquement créer de la valeur ajoutée supplémentaire, surtout si le marché lui-même n’est pas en mesure d’absorber ces innovations. Plusieurs exemples concrets permettent d’illustrer cette réalité.

Des gains de productivité sans création de marché

On avance fréquemment que l’IA permet d’automatiser des tâches et de libérer du temps pour se concentrer sur des activités à plus forte valeur ajoutée. Prenons un exemple : dans un cabinet d'expertise comptable, l’IA est de plus en plus sollicitée pour automatiser des tâches répétitives ce qui permet ainsi d’économiser un temps considérable. Et évidemment cela va s’accélérer et s’amplifier. L’idée est que ce temps libéré puisse être réaffecté à des prestations de conseil et d’analyse à plus forte valeur ajoutée. Mais cette transition repose sur plusieurs hypothèses délicates. D’une part, il faut que le marché existe pour ces services et que la demande soit suffisante pour les absorber à des tarifs économiquement intéressants. Or, dans un contexte où les clients ont eux-mêmes accès à des outils d’IA capables de fournir des conseils personnalisés, la valeur ajoutée apportée par un expert humain pourrait être remise en question. D’autre part, il est particulièrement difficile de former rapidement des professionnels à des tâches complexes et innovantes lorsqu’ils n’ont pas préalablement acquis les bases nécessaires. Ce double défi (générer une demande viable pour des services hautement qualifiés et réadapter la main-d’œuvre existante en un temps record) est une bonne illustration des incertitudes quant à la crédibilité de la réallocation du temps gagné par l’automatisation vers des activités à plus forte valeur ajoutée surtout avec des outils progressant sans cesse.

Ce cas particulier est facilement transposable à de nombreux métiers très consommateurs de ressources humaines. Il en va de même pour les centres d’appels, la vente et plus généralement pour tous les métiers de services y compris pour des métiers techniques comme le développement informatique. Si tous les acteurs adoptent des outils similaires, la différenciation s’amenuise mécaniquement. Les entreprises se retrouvent alors en concurrence principalement sur les prix ce qui réduit les marges et limite l’impact réel des gains de productivité sur la création de valeur économique globale. Suivra un arbitrage quasi systématique au profit de l’IA.

Des modèles économiques aux hypothèses fragiles

Les prévisions macroéconomiques mises en avant, qu’elles soient basées sur des parallèles historiques (ce qui est en soit critiquable, le toute chose égale par ailleurs cher aux économistes n’est plus !) ou sur des modèles théoriques comme celui proposé par Daron Acemoglu reposent sur des hypothèses qui semblent trop optimistes. Par exemple, l’estimation médiane d’une hausse de 0,68 point de pourcentage par an de la productivité agrégée paraît séduisante mais elle omet d’intégrer des freins potentiels tels que la saturation du marché et la concentration des acteurs dominants. Si seules les grandes entreprises, déjà bien implantées, profitent pleinement de l’IA, alors les bénéfices globaux risquent d’être capturés par un petit nombre d’acteurs, laissant peu de place à l’innovation chez les PME ce qui limitera la dynamique de création de valeur à grande échelle.

L’effet rebond : quand l’innovation se heurte à la réalité du marché

Un autre point de critique concerne l’idée que l’augmentation de la productivité se traduira nécessairement par une expansion de l’emploi. L’argument selon lequel des gains de productivité incitent les entreprises à recruter davantage est séduisant sur le papier. Mais dans des secteurs où la demande est déjà satisfaite ou même sur le point de l’être, l’innovation ne génère pas toujours une croissance proportionnelle de la demande. Dans certains cas, l’automatisation peut même conduire à une réduction des coûts qui, sans augmentation correspondante de la demande, ne se traduit que par une intensification de la concurrence et une pression sur les salaires.

La difficulté de former en masse face à un déficit de bases solides

Un autre défi majeur réside dans la nécessité de former un grand nombre de professionnels en un temps record, alors que beaucoup d'entre eux ne disposent pas des bases requises pour assimiler rapidement des technologies aussi complexes que l'IA et les nouvelles compétences qu’on attend d’eux. Dans des secteurs comme la comptabilité ou le droit, par exemple, les compétences de base en informatique et en gestion des données ne sont pas toujours présentes, ce qui rend l'apprentissage des outils d'automatisation et d'analyse prédictive particulièrement ardu. Et ont-ils les compétences et savoir-faire pour faire du conseil au niveau attendu par des clients qui ont déjà du conseil de la part des IA ? Les programmes de formation actuels peinent à offrir un apprentissage suffisamment personnalisé pour combler ces lacunes fondamentales. Cette situation engendre un fossé entre les professionnels capables de s'adapter rapidement et ceux qui restent à la traîne. Les inégalités au sein des entreprises vont s’accentuer et entraîneront des répercussions inévitables sur l’emploi. Par ailleurs, la rapidité avec laquelle l'IA évolue rend l'adaptation encore plus complexe, car les contenus de formation doivent sans cesse être mis à jour pour rester pertinents et plus poussés dans le métier pour se différencier des IA. Ce défi de la formation de masse constitue un véritable frein à l'adoption harmonieuse de l'IA et à la création de valeur ajoutée durable malgré les gains de productivité potentiels évoqués par ses promoteurs.

Vers une vision plus nuancée de la révolution IA

Si l’IA offre indéniablement des opportunités d’amélioration de la productivité, il est essentiel de rester prudent quant aux interprétations optimistes qui font fi des contraintes du marché. Des secteurs à titre d’exemple comme la comptabilité, le droit ou la logistique montrent bien que des gains technologiques ne se traduisent pas toujours par une création de valeur ajoutée ou par une expansion durable des marchés. L’IA ne constitue pas une panacée magique et ses bénéfices potentiels doivent être examinés à la lumière des réalités économiques et concurrentielles pour éviter de sombrer dans l’illusion d’une croissance illimitée.

Vision du travail non manuel par le modèle 4o d’OpenAI en 2025, 2035, 2050 et 2100

Voici quatre représentations dans un style graffiti de la représentation la plus probable qu’à ce modèle du travail non manuel à ces différentes dates. Le prompt ne mentionner volontairement rien de plus afin d’identifier les futurs les plus probables selon cette IA. Cette vision est importante à connaître car c’est celle qui est véhiculée au plus grand nombre.

Bonnes métamorphoses.

Stéphane