Meta prévoit une expansion massive de l'IA avec 1,3 million de GPU et un centre de données battant tous les records

La course à la suprématie de l'IA s'intensifie et Meta prend des mesures audacieuses pour rester en tête. Le PDG Mark Zuckerberg a annoncé que l'entreprise prévoyait de terminer l'année 2024 avec plus de 1,3 million de GPU, soit plus du double de son stock actuel de GPU d'entreprise. Cette expansion vise à accélérer le développement des capacités d'IA de Meta, notamment le prochain modèle Llama 4, qui rivalisera avec ChatGPT d'OpenAI et Gemini de Google.

Crédit photo: David Paul Morris | Bloomberg via Getty Images

Meta a pour objectif ambitieux de fournir des assistants IA à plus d’un milliard d’utilisateurs et de créer un « ingénieur IA » capable de contribuer directement aux efforts de recherche et développement. Pour soutenir ces initiatives, Zuckerberg a révélé son projet de construire un immense centre de données capable d’abriter 1 gigawatt de puissance de calcul d’ici la fin de l’année, avec une capacité finale dépassant 2 gigawatts – une échelle sans précédent dans le calcul IA. L’installation devrait s’étendre sur une superficie comparable à une partie importante de Manhattan et fera partie d’un investissement en capital de 65 milliards de dollars en 2025.

Cette décision intervient dans un contexte de concurrence féroce. Le supercalculateur d'intelligence artificielle d'Elon Musk, basé à Memphis, vise 1 million de GPU, tandis que le projet Stargate de Sam Altman, d'un montant de 500 milliards de dollars, vise à construire des centres de données dédiés à l'IA aux États-Unis. Microsoft a également engagé 80 milliards de dollars dans des infrastructures compatibles avec l'IA, notamment pour redémarrer une installation nucléaire afin de répondre à la demande énergétique.

Alors que les besoins en énergie des centres de données d'IA montent en flèche, certaines projections atteignant 5 gigawatts, la course au calcul de l'IA ne montre aucun signe de ralentissement. Les investissements de Meta soulignent son engagement à mener la prochaine génération d'innovation technologique.

Llama, ou Large Language Model Meta AI, est une série de modèles linguistiques autorégressifs développés par Meta AI, lancés pour la première fois en février 2023. Le modèle initial Llama n'était disponible qu'en tant que modèle de base, avec des pondérations limitées aux organisations universitaires et de recherche sous une licence non commerciale. Malgré un accès strict, les pondérations du modèle ont fuité en ligne peu après sa publication, suscitant des débats sur l'accessibilité et l'utilisation abusive dans le développement de l'IA.

Llama 2, lancé en juillet 2023, a marqué un tournant en incluant des modèles affinés pour le chat et en étendant ses licences pour permettre certaines utilisations commerciales. Il a également amélioré les performances en s'entraînant sur 40% de données en plus que son prédécesseur. En août 2023, Meta a publié Code Llama, une variante spécialement conçue pour les tâches de codage, démontrant la polyvalence de la plateforme.

Llama 3, dévoilé en avril 2024, a repoussé les limites avec des capacités multilingues et multimodales, un raisonnement amélioré et des fenêtres de contexte étendues. Son plus grand modèle, avec 70 milliards de paramètres, a été pré-entraîné sur 15 000 milliards de jetons, surpassant des concurrents comme Gemini Pro 1.5 sur des benchmarks clés. En juillet 2024, Llama 3.1 a introduit une version révolutionnaire de 405 milliards de paramètres, établissant davantage la position de Meta dans le paysage de l'IA.

Au fil de ses itérations, Llama a permis des avancées dans les assistants virtuels et les outils de codage de Meta tout en stimulant l'innovation dans les systèmes d'IA multilingues et multimodaux.