La révolution exponentielle de l'ia : microsoft et nvidia au cœur de la course à l'intelligence artificielle

La Technologie numérique évolue à une vitesse incroyable, les tendances émergentes façonnant l'avenir. Après une formation à l'Université d'Aix-Marseille et une expérience précieuse au CNRS, mon regard s'est affiné pour saisir l'essentiel, le cœur de l'innovation. Chez TechBextes, je m'efforce de traduire cette complexité en analyses claires et concises, offrant à nos lecteurs une compréhension rapide des enjeux technologiques qui façonnent notre quotidien. Mon parcours m'a permis de comprendre le poids de l'exonération dans l'évolution de l'IA : si marcher une heure vous permet de couvrir une distance, deux heures vont doubler celle-ci, mais face à l'intelligence artificielle, cette logique ne tient plus.

Les avancées rapides dans le traitement de l'information

Depuis que j'ai commencé à travailler sur l'IA en 2010, le changement a été énorme. Le calcul utilisé dans les modèles les plus performants a augmenté d'un facteur de environ un trillion, passant de 10^14 FLOPS dans les premiers systèmes à plus de 10^26 FLOPS dans les modèles actuels. C'est plus qu'une croissance, c'est une explosion, a commenté Mustafa Suleyman, maintenant à la tête de la division d'IA chez Microsoft.

Il compare l'entraînement de l'IA à une salle pleine de personnes faisant des calculs avec des calculatrices. Jusqu'il y a peu, ajouter de la puissance IA signifiait simplement mettre plus de monde avec des calculatrices. Mais beaucoup de ces personnes attendaient, avec temps mort, jusqu'à ce que les données arrivent en retard. « Aujourd'hui, la révolution n'est pas juste de avoir des calculatrices plus rapides. C'est réussir à ce que toutes ces calculatrices travaillent toujours, et qu'elles fonctionnent comme une seule grande intelligence », a expliqué Suleyman.

Cet essor s'est réalisé grâce à trois avancées convergentes : les propres 'calculatrices' sont beaucoup plus rapides. Les puces de Nvidia ont passé de 312 teraflops en 2020 à 2 250 teraflops aujourd'hui, et le processeur de Microsoft, le Maia 200, offre un 30% de plus de performance par euro que les autres puces de la même catégorie. Deuxièmement, les données arrivent beaucoup plus vite grâce à la mémoire HBM (High Bandwidth Memory) qui empile les puces comme des petits bâtiments. La version la plus nouvelle, HBM3, triple l'espace de bande passante de la précédente, maintenant les GPU toujours alimentées sans temps mort. Troisièmement, la salle de calculs s'est presque transformée en une ville. Les technologies comme NVLink et InfiniBand connectent des centaines de milliers de GPU dans des superordinateurs de la taille de navires industriels, fonctionnant comme une seule pièce de traitement.

Eric Schmidt, ex-CEO de Google, a émis une mise en garde sur l'IA : « Nous expérimentons entre 10 et 15% des effets de tout cela, de ses capacités ». Comme résultat de tout cela, nous avons une véritable bête : ce qui prenait 167 minutes sur huit GPU en 2020 est maintenant réalisé en moins de quatre minutes avec du matériel actuel, une amélioration de 50 fois, bien au-delà des 5 fois qu'on aurait pu prévoir simplement la loi de Moore. En tenant compte de ce croissance exponentielle, les prévisions sont monstreuses. Suleyman affirme que les grands laboratoires sont en train de grandir leur capacité de calcul à un rythme de presque 4x annuel. Entre 2020 et aujourd'hui, le calcul a augmenté de 5x chaque année. Et on s'attend à ce que, d'ici 2027, le calcul global d'IA atteigne l'équivalent de 100 millions de puces H100, soit un saut de 10 fois en seulement trois ans.

Microsoft, Nvidia et la course à l'intelligence artificielle ou ASI

Mitt au milieu de toute cette folie presque inconcevable pour la plupart des mortels, des noms comme Microsoft et Nvidia sont au centre de tout ce boom. Suleyman, qui dirige maintenant la division d'IA chez Microsoft, laisse clairement entendre qu'on ne parle plus de prototypes, mais d'infrastructures réelles gigantesques : des clusters de 100 000 GPU, des racks de taille de réfrigérateur qui consomment 120 kilowatts et des centres de données qui se nourrissent d'énergie équivalente à celle du Royaume-Uni, de la France, de l'Allemagne et de l'Italie ensemble au pic de leur consommation annuelle. « Les 100 000 millions de dollars dans les clusters d'IA, les 10 gigawatts de consommation, les superordinateurs de navire. ce n'est plus la science-fiction. Ce sont les projets en cours aux États-Unis et dans le monde », a affirmé Suleyman. Et tout cela vise un objectif à un horizon encore inconnu : l'intelligence artificielle superieure.

Après l'ère des chatbots, selon Suleyman, vient l'ère des