A Intel está respondendo aos recentes benchmarks de IA da AMD compartilhados durante o keynote da Computex, que afirmaram que o EPYC Turin baseado em Zen 5 da AMD é 5,4 vezes mais rápido do que os chips Xeon da Intel em cargas de trabalho de IA. A Intel publicou um blog hoje destacando o desempenho de seus processadores Xeon de geração atual em seus próprios benchmarks, alegando que seus chips Xeon de quinta geração, que estão atualmente sendo enviados, são mais rápidos do que os processadores EPYC Turin de 3nm da AMD, que chegarão na segunda metade de 2024. A Intel diz que os benchmarks da AMD são uma “representação imprecisa” do desempenho do Xeon e compartilhou seus próprios benchmarks para contestar as alegações da AMD.
Como sempre, devemos abordar resultados de benchmarks fornecidos por fornecedores com cautela e prestar muita atenção às configurações de teste. Incluímos as notas de teste da Intel no álbum acima. Esses chips foram todos testados em servidores de dois soquetes.
Os benchmarks da AMD mostraram uma série de vantagens sobre o Xeon, mas os resultados do chatbot Llama2-7B destacaram a vitória mais extrema, mostrando uma vantagem de 5,4x para o Turin de 128 núcleos (256 núcleos no total) sobre o Xeon Emerald Rapids de 64 núcleos da Intel 8592+ (128 núcleos no total).
Os próprios resultados internos da Intel são 5,4 vezes mais rápidos do que os benchmarks da AMD, dando assim ao Xeon de 64 núcleos atualmente em envio uma vantagem sobre o modelo futuro de 128 núcleos da AMD — uma alegação bastante impressionante e uma mudança significativa no desempenho.
A Intel diz que a AMD não compartilhou os detalhes do software usado para seus benchmarks ou os SLAs necessários para o teste, e não conseguimos encontrar uma lista dos tamanhos de lote usados (notas de teste da AMD abaixo). Independentemente disso, a Intel diz que os resultados da AMD não correspondem aos seus próprios benchmarks internos com software de código aberto amplamente disponível (Intel Extension for PyTorch). A Intel assumiu uma restrição de latência P99 “rigorosa” de 50ms para seu benchmark e usou o mesmo tipo de dado INT4.
Se este benchmark representa o desempenho real, a provável disparidade aqui é o suporte da Intel para extensões matemáticas AMX (Advanced Matrix Extensions). Essas funções matemáticas de matriz aumentam tremendamente o desempenho em cargas de trabalho de IA, e não está claro se a AMD empregou AMX quando testou o chip da Intel. Notavelmente, o AMX suporta BF16/INT8, então o motor de software geralmente converte os pesos INT4 em tipos de dados maiores para passar pelo motor AMX. Os chips de geração atual da AMD não suportam operações matemáticas de matriz nativas, e não está claro se Turin suporta.
Os benchmarks da Computex da AMD também incluíram vitórias do Turin sobre o Xeon de quinta geração em cargas de trabalho de sumarização e tradução impulsionadas por IA, alegando vantagens de 3,9x e 2,5x, respectivamente. Novamente, a Intel discorda, com seus próprios resultados mostrando desempenho 2,3x e 1,2x maior do que a AMD obteve com o Xeon 8592+.
A Intel não alinha seus resultados de benchmark com as alegações do Turin da AMD para este gráfico (incluímos as alegações da AMD acima). Em vez disso, escolheu comparar com os processadores EPYC 9754 de 96 núcleos da AMD e mostra ganhos de desempenho como uma porcentagem relativa contra esse chip. As notas de teste da AMD (último slide acima) não indicam quais modelos foram usados para suas cargas de trabalho de sumarização e tradução, então não parece possível calcular o desempenho relativo ao Turin nessas cargas de trabalho. No entanto, parece que o Turin ainda sairia por cima nesses benchmarks, mas por uma margem menor.
Notavelmente, a Intel afirma que até mesmo seus Xeons da última geração são mais rápidos do que o EPYC Genoa de geração atual da AMD e que seus chips mais novos de quinta geração são até 2,5 vezes mais rápidos do que o Genoa.
O blog da Intel aponta que seus chips Xeon 6 Granite Rapids, não testados aqui, suportam até 2,3x a largura de banda de memória em comparação com seus chips de geração atual usados aqui como um subproduto da mudança de oito canais de memória para 12, juntamente com suporte para DIMMs MCR que aumentam a largura de banda. Como tal, espera-se um desempenho ainda maior nessas cargas de trabalho com seus chips que serão lançados em breve. Os chips mais novos da Intel também têm até 128 núcleos, o que deve ajudar o desempenho da Intel em relação ao Turin — essas comparações são com modelos de 64 núcleos. Notavelmente, a Intel não forneceu uma contra-argumentação às alegações da AMD de que o Turin é 3,1 vezes mais rápido em cargas de trabalho de dinâmica molecular no NAMD.
Pensamentos
As guerras de benchmarks de IA estão esquentando à medida que Intel e AMD disputam uma posição de liderança em cargas de trabalho de IA que rodam na CPU. Está mais difícil do que nunca aceitar benchmarks fornecidos por fornecedores pelo valor nominal — não que nós alguma vez tenhamos aceitado, de qualquer maneira. Dito isso, esperamos ver configurações de benchmark claramente definidas com benchmarks fornecidos por fornecedores, e as notas de teste do Turin da AMD não atendem a esse critério. Para ser claro, a Intel também não descreve completamente suas plataformas de teste comparativas em alguns momentos, então ambos os fornecedores poderiam melhorar aqui.
Notavelmente, a Intel envia seus resultados de teste de CPU e Gaudi para o banco de dados MLPerf, aceito pela indústria e publicamente disponível, para permitir resultados de benchmark de IA facilmente verificáveis, enquanto a AMD ainda não enviou nenhum benchmark para comparação.
Esperamos que os benchmarks olho por olho só se intensifiquem à medida que ambas as empresas lançam seus chips mais novos, mas também colocaremos esses sistemas à prova nós mesmos para descobrir as diferenças. Atualmente, temos os chips Xeon 6 da Intel sob o microscópio de benchmarking; fiquem atentos para isso.
Enquanto isso, contatamos a AMD para comentar sobre as contra-alegações da Intel e atualizaremos você quando recebermos uma resposta. As otimizações para cargas de trabalho de IA estão se tornando um fator crítico, de modo que é bastante fácil ver ganhos — ou perdas — massivos em desempenho relativo. Mesmo em GPUs, já vimos melhorias de desempenho ao longo do tempo de 100% ou mais. Claramente, isso não será a última vez que veremos comparações entre configurações ajustadas e não ajustadas.
Fonte: Tom’s Hardware
