Explosion de puissance: l'ia défähie les lois de l'évolution
Mustafa Suleyman, l'architecte de l'IA chez Microsoft, ne mâche pas ses mots : l'essor de l'intelligence artificielle n'obéit pas aux règles de l'évolution linéaire. Une révélation qui redéfinit les enjeux.
Le calcul au-delà de la simple augmentation
Le constat est saisissant : le calcul impliqué dans les modèles d'IA a explosé, passant de 10¹⁴ FLOPS à plus de 10²⁶ FLOPS en seulement quelques années. Suleyman le décrit avec précision : ce n'est pas une simple croissance, mais une explosion. Il s'en explique en comparant l'entraînement des IA à une salle bondée de personnes effectuant des calculs avec des calculatrices – une image frappante.
Autrefois, l'amélioration des capacités d'IA signifiait simplement ajouter plus de ‘calculatrices’ et espérer un rendement accru. Mais cette approche, loin d'être optimale, se heurtait à des goulots d'étranglement liés au temps d'attente des données. Aujourd'hui, la véritable révolution réside dans la capacité à faire fonctionner toutes ces ‘calculatrices’ simultanément, comme une intelligence collective.
Cette transformation, selon Suleyman, est le fruit de trois avancées majeures. Premièrement, les puces Nvidia, capables de générer 2.250 teraflops aujourd'hui, contre 312 teraflops en 2020, représentent une évolution fulgurante. Deuxièmement, la mémoire HBM (High Bandwidth Memory) triplique le débit des données, évitant les temps morts et optimisant le flux d'informations. Enfin, des technologies telles que NVLink et InfiniBand permettent de connecter des milliers de GPU en superordinateurs, transformant l'infrastructure en une machine unique.
Eric Schmidt, ancien PDG de Google, ne tarit pas d'éloges : « Nous sommes entre le 10 et le 15% de l'effet de tout cela ». Les laboratoires investissent massivement dans le calcul – presque 4x l'augmentation annuelle depuis 2020 – et les prévisions sont vertigineuses. En 2027, le pouvoir de calcul global de l'IA pourrait atteindre 100 millions de puces H100, soit une augmentation de 10 fois en trois ans.
Microsoft, Nvidia et la quête de la superintelligence. Ces deux géants sont au cœur de cette course effrénée. Suleyman souligne que nous ne sommes plus dans l'ère des prototypes, mais de véritables infrastructures à l'échelle industrielle : des clusters de 100 000 GPU, des racks de la taille d'une réfrigérateuruse consommant 120 kilovatios et des centres de données alimentés par l'énergie de l'ensemble du Royaume-Uni, de la France, de l'Allemagne et de l'Italie. Une ambition colossale, visant à atteindre la superintelligence.
L'évolution des coûts de l'énergie solaire et des batteries ne fait qu'amplifier cette tendance. Les prix ont chuté de 97% en trois décennies, et de 100 fois en 50 ans. Avec ces avancées en toile de fond, Suleyman prédit que « nous nous surprendrons encore. Le boom du calcul est l'histoire technologique de notre époque, et elle ne fait que commencer. »