En ce qui concerne le traitement de l’IA, les GPU de Nvidia dominent l’industrie. OpenAI possède l’un des modèles d’IA les plus avancés dans la course à l’intelligence artificielle générale. Pour la prochaine phase, OpenAI a besoin de GPU plus puissants pour traiter les informations plus rapidement et davantage de données chaque seconde. NVIDIA et OpenAI travaillent tous deux sur la combinaison de millions de GPU au lieu de milliers.
Selon les rapports, NVIDIA a fourni plus de 20 000 GPU à OpenAI. Par exemple, NVIDIA et OpenAI ont collaboré sur ChatGPT pour lancer le modèle GPT-4, où OpenAI utilise des milliers de GPU. Les deux entreprises discutent de meilleurs GPU pour l’IA, qui seront plus performants que tous les GPU existants.
Nvidia et OpenAI dominent tous deux le marché. OpenAI a récemment étendu son accessibilité au web et aux appareils mobiles, y compris les appareils iOS et Android. La société a besoin de plus de GPU pour traiter et améliorer le prochain modèle d’IA afin d’ajouter plus de fonctionnalités. On dit que NVIDIA détient une part de marché de 95% pour les GPU d’IA utilisés pour les processeurs graphiques. Avant de continuer, prenons cela en compte : Microsoft a besoin de 20 000 serveurs à 8 GPU pour déployer Bing AI pour tout le monde, ce qui coûte 4 milliards de dollars en infrastructure.
OpenAI a besoin de 10 millions de GPU pour le prochain modèle d’IA.
Actuellement, les modèles d’IA sont 99% plus créatifs que les êtres humains. Cependant, investir dans des GPU est une entreprise coûteuse et entraîne des coûts élevés pour construire une infrastructure et développer 10 millions de GPU pour le traitement de l’IA. Ce serait un bond énorme dans l’intelligence artificielle, car le modèle à venir peut faire beaucoup plus, y compris une large gamme d’applications et de tâches pour lesquelles ils achètent ou obtiennent l’accès auprès de fournisseurs de cloud.
Pour la prochaine phase de l’AGL avancée, OpenAI utilisera des techniques d’entraînement plus robustes, et ce modèle sera capable de connecter plus de 10 millions de GPU d’IA ensemble. Vous vous demandez peut-être si c’est exagéré, mais comme il domine actuellement l’industrie, les exigences des GPU d’IA pour le prochain modèle de langage auront plus de capacité et de précision, pour lesquelles ils doivent traiter davantage de données, qui atteignent plusieurs téraoctets. La reconnaissance de motifs et la génération de texte, la réalisation de prédictions ou l’identification d’objets sont nécessaires.
Cependant, NVIDIA peut produire jusqu’à un million de GPU d’IA, en considérant que des millions de GPU prendront 10 ans à livrer. Nous avons constaté des pénuries de GPU, notamment en raison de la forte demande de l’industrie. Même NVIDIA a augmenté le prix de ses GPU. NVIDIA collabore avec TSMC pour augmenter son offre et sa production de GPU. En tenant compte de tout cela, nous devons également mentionner que cela augmentera le prix et la puissance et comprendra un certain nombre de défis, comme l’interconnexion de ces énormes GPU.
D’autres entreprises comme Google, Microsoft, Amazon et d’autres ont commencé à travailler sur l’IA générale (AGI), pour laquelle elles ont commandé des milliers de GPU auprès de NVIDIA. En raison de la forte demande, l’action de NVIDIA a considérablement augmenté et NVIDIA est devenue une entreprise presque trillionnaire. L’année dernière, NVIDIA a vendu plus de 30,34 millions de GPU et, dans le commerce de détail, NVIDIA en a vendu environ 10 millions. Il reste également à déterminer si OpenAI peut se permettre un tel coût, et il est très peu probable que nous soyons confrontés à une autre pénurie de GPU similaire à celle de la période de la pandémie.
Ni NVIDIA ni OpenAI n’ont confirmé les informations selon lesquelles OpenAI utiliserait 10 millions de GPU. Selon certaines sources, Microsoft travaille également sur des GPU pour développer l’IA, ce qui permettra également de réduire les coûts. À ce stade, le coût de ces applications est de 10 000 dollars pour 100 puces NVIDIA, et il est également devenu l’un des outils les plus importants dans l’AGI utilisé dans ChatGPT d’OpenAI, l’IA de Bing de Microsoft et la Diffusion Stable de Stability.
Stability AI utilise 5 400 GPU Nvidia A100 pour leur génération d’images avec des instructions ou des entrées, et le modèle Stable Diffusion récemment publié a été entraîné sur 256 GPU A100 avec 8 A100 chacun, ce qui donne à Stability AI un total de 200 000 heures de calcul. Les analystes et les technologues estiment qu’OpenAI a dépensé plus de 4 millions de dollars pour son modèle de langage GPT-3, et Meta AI utilise environ 2 048 GPU Nvidia A100 pour entraîner leur modèle LLAMA de 1,4T. Ces GPU spécialement conçus peuvent gérer des calculs complexes simultanément et sont adaptés à la formation et à l’utilisation de modèles de réseaux neuronaux.
Initialement, les GPU étaient utilisés uniquement pour le traitement graphique, mais après la première vague d’AGI, le NVIDIA A100 a été configuré et ciblé pour les tâches d’apprentissage automatique et a commencé à être utilisé dans les centres de données. D’autres entreprises travaillent sur la R&D pour le matériel AI-GPU afin de construire des modèles AGI. Certains des OEM les plus remarquables sont AMD et Intel. Il est possible de s’entraîner sur des GPU autres que NVIDIA. En regardant les avancées de NVIDIA, l’entreprise affinera davantage les frameworks et les bibliothèques, les rendra efficaces pour continuer à générer des profits et permettra aux développeurs de maintenir des prix bas au départ.