O Geekbench está levando seu benchmark de inteligência artificial para o horário nobre. O desenvolvedor Primate Labs está lançando a versão 1.0 do recém-renomeado Geekbench AI (anteriormente chamado de ‘Geekbench ML’ enquanto estava em pré-visualização). O benchmark está disponível para Windows, Linux e macOS, bem como para Android na Google Play Store e para iPhones e iPads na App Store da Apple.
Assim como o Geekbench regular, que fornece duas pontuações para a CPU, o Geekbench AI usará múltiplas pontuações. Neste caso, o software usará três pontuações que variam em precisão: dados de precisão simples, dados de meia precisão e dados quantizados. A Primate Labs afirma que isso é “para descrever melhor a multidimensionalidade do desempenho da IA e o impacto de diferentes designs de hardware”.
Mas há outro componente: a correção. Outra medição para cada teste verifica quão próximo o trabalho entrega o que é esperado. A Primate Labs explicou usando um exemplo de um modelo que detecta a presença de um cachorro-quente:
“Seu modelo de detecção de objetos de cachorro-quente pode ser capaz de rodar muito, muito rapidamente, mas se ele só consegue detectar com precisão um cachorro-quente 0,2% das vezes em que ele está realmente presente, não é muito bom”, explicou. “Essa medição de precisão também pode ajudar os desenvolvedores a ver os benefícios e desvantagens de tipos de dados menores — que podem aumentar o desempenho e a eficiência à custa de (potencialmente!) menor precisão. Comparar a precisão como parte do desempenho através do uso de nosso banco de dados também pode ajudar os desenvolvedores a estimar a eficiência relativa.”
Um monte de novos frameworks estão disponíveis com o lançamento do AI 1.0. Agora ele suporta OpenVINO, ONNX e Qualcomm QNN no Windows, OpenVINO no Linux, e “TensorFlow Lite Delegates específicos de fornecedores” incluindo Samsung ENN, ArmNN e Qualcomm QNN no Android. Esta versão também adicionará mais conjuntos de dados, diz a empresa.
Pontuação e comparação
A Primate Labs quer evitar qualquer manipulação do sistema, ou, mais educadamente dito: “ajustes de desempenho específicos de fornecedores e fabricantes nas pontuações[.]” Todas as cargas de trabalho rodam por pelo menos um segundo, o que deve garantir que os dispositivos tenham tempo para atingir níveis de desempenho máximos durante o teste.
A Primate Labs sugere que isso também ajudará a mostrar a diferença entre telefones e desktops, ou GPUs de IA. Se um teste for concluído muito rápido, o dispositivo subestimará seu desempenho, diz a empresa.
Assim como o Geekbench regular, o Geekbench AI reportará ao navegador Geekbench (e potencialmente fornecerá material para futuros vazamentos de hardware — quem sabe). Os dispositivos de maior desempenho estarão aqui, enquanto os resultados mais recentes estarão aqui.
Atualmente, há poucas maneiras de medir o desempenho da IA que não sejam dos grandes fabricantes de hardware, então isso é uma adição bem-vinda. A Primate Labs disse em um post no blog que a Samsung e a Nvidia, entre outros, estão usando o software, e a empresa sugere que o software evoluirá rapidamente, com muitos lançamentos futuros.
Mas é difícil agora avaliar o desempenho da IA no mundo real, pois há casos de uso limitados. Então há muito peso sobre apenas alguns benchmarks para nos dizer o que é o quê.
Fonte: Geekbench
