A Intel apresentou formalmente seu acelerador Gaudi 3 para cargas de trabalho de IA. Os novos processadores são mais lentos do que as populares GPUs H100 e H200 da Nvidia para IA e HPC, então a Intel está apostando no sucesso do Gaudi 3 com seu preço mais baixo e menor custo total de propriedade (TCO).
O processador Gaudi 3 da Intel usa dois chiplets que possuem 64 núcleos de processador tensor (TPCs, estrutura MAC de 256×256 com acumuladores FP32), oito motores de multiplicação de matriz (MMEs, processador vetorial de 256 bits de largura) e 96MB de cache SRAM on-die com largura de banda de 19,2 TB/s. Além disso, o Gaudi 3 integra 24 interfaces de rede de 200 GbE e 14 motores de mídia — com este último capaz de lidar com H.265, H.264, JPEG e VP9 para suportar processamento de visão. O processador é acompanhado por 128GB de memória HBM2E em oito pilhas de memória, oferecendo uma enorme largura de banda de 3,67 TB/s.
O Gaudi 3 da Intel representa uma melhoria massiva em comparação com o Gaudi 2, que possui 24 TPCs, dois MMEs e carrega 96GB de memória HBM2E. No entanto, parece que a Intel simplificou tanto os TPCs quanto os MMEs, já que o processador Gaudi 3 suporta apenas operações de matriz FP8, bem como operações de matriz e vetor BFloat16 (ou seja, não há mais FP32, TF32 e FP16).
Em termos de desempenho, a Intel diz que o Gaudi 3 pode oferecer até 1856 BF16/FP8 matrix TFLOPS, bem como até 28,7 BF16 vector TFLOPS com cerca de 600W TDP. Em comparação com o H100 da Nvidia, pelo menos no papel, o Gaudi 3 oferece desempenho de matriz BF16 ligeiramente inferior (1.856 vs 1.979 TFLOPS), desempenho de matriz FP8 duas vezes menor (1.856 vs 3.958 TFLOPS) e desempenho de vetor BF16 significativamente inferior (28,7 vs 1.979 TFLOPS).
Mais importante do que as especificações brutas será o desempenho real do Gaudi 3. Ele precisa competir com a série Instinct MI300 da AMD, bem como com os processadores H100 e B100/B200 da Nvidia. E isso ainda precisa ser visto, pois muito depende do software e de outros fatores. Por enquanto, a Intel mostrou alguns slides afirmando que o Gaudi 3 pode oferecer uma vantagem significativa de desempenho em termos de preço em comparação com o H100 da Nvidia.
No início deste ano, a Intel indicou que um kit de acelerador baseado em oito processadores Gaudi 3 em uma baseboard custará $125.000, o que significa que cada um custará cerca de $15.625. Em contraste, um cartão Nvidia H100 está atualmente disponível por $30.678, então a Intel realmente planeja ter uma grande vantagem de preço sobre seu concorrente. No entanto, com as potenciais vantagens de desempenho massivas oferecidas pelas GPUs B100/B200 baseadas em Blackwell, ainda precisa ser visto se a empresa azul será capaz de manter sua vantagem sobre seu rival.
“A demanda por IA está levando a uma transformação massiva no datacenter, e a indústria está pedindo por opções em hardware, software e ferramentas de desenvolvimento,” disse Justin Hotard, vice-presidente executivo da Intel e gerente geral do Data Center and Artificial Intelligence Group. “Com nosso lançamento dos aceleradores de IA Xeon 6 com P-cores e Gaudi 3, a Intel está possibilitando um ecossistema aberto que permite aos nossos clientes implementar todas as suas cargas de trabalho com maior desempenho, eficiência e segurança.”
Os aceleradores de IA Gaudi 3 da Intel estarão disponíveis na IBM Cloud e na Intel Tiber Developer Cloud. Além disso, sistemas baseados no Xeon 6 e Gaudi 3 da Intel estarão geralmente disponíveis da Dell, HPE e Supermicro no quarto trimestre, com sistemas da Dell e Supermicro sendo enviados em outubro e máquinas da Supermicro sendo enviadas em dezembro.
