Elon Musk compartilhou recentemente imagens de um cluster de supercomputador que utiliza seus próprios aceleradores de IA Dojo. Ele também anunciou durante a chamada de resultados da Tesla que dobraria os investimentos no desenvolvimento e implantação do Dojo devido ao alto custo das GPUs da Nvidia.
Além da abertura da instalação xAI no Tennessee, que visa ter 100.000 GPUs Nvidia H100 em uma única estrutura, Musk afirmou que o Dojo D1 estará em funcionamento até o final do ano. Segundo Musk, ele terá o poder de processamento de 8.000 chips H100 da Nvidia, o que ele descreveu como “não massivo, mas também não trivial”.
Dojo pics pic.twitter.com/Lu8YiZXo8cJuly 23, 2024
Musk revelou o chip Dojo D1 pela primeira vez em 2021 com uma meta de desempenho de 322 TeraFLOPs de potência. Em agosto do ano passado, a Tesla foi vista contratando um Gerente de Programa de Engenharia Sênior para Data Centers, o que geralmente é um dos primeiros passos que qualquer organização toma ao planejar seus próprios data centers. A Tesla também dobrou seus pedidos para o Dojo D1 no mês seguinte, mostrando confiança em seu desempenho.
Em maio de 2024, foi relatado que o processador Dojo já estava em produção em massa. Agora, parece que os chips Dojo já chegaram aos Estados Unidos e estão nas mãos de Elon, que compartilhou ontem imagens do Supercomputador Dojo em seu data center.
And Dojo 1 will have roughly 8k H100-equivalent of training online by end of year.Not massive, but not trivial either.July 23, 2024
Os chips Dojo são processadores system-on-wafer com uma matriz de 5 por 5. Isso significa que seus 25 dies de ultra-alto desempenho são interconectados usando a tecnologia de fan-out integrado (InFO) da TSMC, para que possam atuar como um único processador e desempenhar de forma mais eficiente do que máquinas multiprocessadoras similares.
A TSMC fabrica os chips Dojo para a Tesla, e Musk os usará junto com seu Memphis Supercluster alimentado pela Nvidia. No entanto, enquanto a instalação do Tennessee é propriedade da xAI e é usada principalmente para treinar o Grok, os chips Dojo são mais sintonizados para aprendizado de máquina de IA e treinamento de vídeo, especialmente porque serão usados para treinar a tecnologia Full Self-Driving da Tesla com base nos dados de vídeo coletados dos carros Tesla.
Quando Musk combinou todos os chips que possui, ele afirmou que teria 90.000 chips Nvidia H100, 40.000 Nvidia AI4 e os wafers Dojo D1 funcionando até o final de 2024. Esse poder de computação substancial mostra o quanto o bilionário está investindo em inteligência artificial.
Fonte: Tom’s Hardware
