Apesar de suas capacidades impressionantes em gerar conteúdo, os grandes modelos de linguagem (LLMs) não são tão bons em projetar hardware. Acreditando que essa fraqueza se deve à falta de dados de design de hardware para treinar os modelos, Nvidia, Instituto de Tecnologia da Geórgia e outros organizaram um concurso para ajudar a criar o necessário conjunto de dados públicos de código aberto.
O diretor de pesquisa de automação de design da Nvidia, Haoxing (Mark) Ren, anunciou recentemente a colaboração no X (anteriormente conhecido como Twitter). Ren disse que a escassez de dados de alta qualidade específicos para design de hardware era “um dos gargalos para o Design de Hardware Assistido por LLMs.” Para resolver essas deficiências, Nvidia e outros organizaram o Concurso ICCAD sobre Geração de Código de Hardware Assistido por LLMs.
Os esforços atuais para projetar GPUs e outros hardwares com assistência de LLMs exigem “interação humana extensiva.” Os designs criados pelos LLMs são frequentemente não sintetizáveis ou não funcionais, ou são muito simplistas ou impraticáveis. Os pesquisadores acreditam que isso se deve à exposição insuficiente a dados de design de hardware de alta qualidade durante o pré-treinamento.
The lack of high-quality data is commonly regarded as one of the bottlenecks for LLM-Assisted Hardware Design. To develop an open-source, large-scale, high-quality dataset, we are co-organizing the LLM4HWDesign contest @ @ICCAD with EIC Lab @GaTech. https://t.co/qvwLZUlOVhJuly 8, 2024
Após notar o sucesso de um projeto da Nvidia usando um conjunto de dados de código Verilog de grande escala interno, os organizadores decidiram enriquecer o atual conjunto de dados de código Verilog. O concurso visa construir um conjunto de dados de código de design de hardware de grande escala e alta qualidade que eventualmente será de código aberto.
O concurso LLM4HWDesign ocorre em duas fases. A primeira, coleta de amostras de dados, termina em 10 de agosto de 2024. De 20 de agosto até 1 de outubro, a segunda fase melhorará e ajustará os conjuntos de dados coletados na Fase I. Ao coletar conjuntos de dados na Fase I, os participantes do concurso começarão com o conjunto de dados Verilog existente e o expandirão.
Na Fase II, os participantes usarão filtragem de dados para remover dados de baixa qualidade e desenvolver técnicas para gerar descrições mais precisas para as amostras de dados coletadas automaticamente. Finalmente, eles criarão estratégias de rotulagem para ajudar no processo de aprendizado dos LLMs.
Os vencedores do concurso LLM4HWDesign serão anunciados durante a Conferência Internacional de Design Assistido por Computador IEEE/ACM no final de outubro de 2024. Nvidia e a Fundação Nacional de Ciência estão patrocinando o concurso, que inclui alguns prêmios valiosos além do reconhecimento proporcionado pelo concurso:
- 1º Lugar: 1 x Nvidia RTX 4080 GPU mais $2.000 por equipe.
- 2º Lugar: 1 x Nvidia RTX 4080 GPU mais $1.000 por equipe.
- 3º Lugar: 1 x Nvidia RTX 4070 GPU mais $500 por equipe.
Fonte: Tom’s Hardware