Grandes desenvolvedores de IA como OpenAI, a equipe Gemini do Google e os responsáveis pelo Microsoft Copilot possuem enormes data centers à sua disposição para cargas de trabalho de IA. Graças ao trabalho de uma equipe de desenvolvedores, um novo software pode permitir que você execute seu próprio cluster de IA em casa usando seus smartphones, tablets e computadores existentes.
O software experimental exo divide seu Large Language Model (LLM) para usar alguns ou todos os seus dispositivos de computação em casa para executar seu chatbot pessoal ou outro projeto de IA. Isso pode incluir seus telefones e tablets Android, bem como computadores rodando macOS ou Linux.
O resultado disso é permitir que você use seus vários dispositivos juntos para parecer uma GPU poderosa para o modelo de IA. O desenvolvedor exibiu uma demonstração do software rodando Llama-3-70B em casa usando um iPhone 15 Pro Max, um iPad Pro M4, um Galaxy S24 Ultra, um MacBook Pro M2, um MacBook Pro M3 e duas placas de vídeo MSI Nvidia GTX 4090.
O software exo é compatível com Llama e outros modelos de IA populares. Ele também inclui, através de uma mudança de uma linha no aplicativo, uma API compatível com ChatGPT para executar modelos. Você só precisa de dispositivos compatíveis rodando Python 3.12.0 ou superior para compilar e executar o software.
Running Llama-3-70B at home with @exolabs_Combines the compute of all these devices to make one big GPU:- iPhone 15 Pro Max- iPad Pro M4- Galaxy S24 Ultra- MacBook Pro M2 and M3 Pro- 2 x MSI NVIDIA GeForce RTX 4090 SUPRIMCode is open source 👇 pic.twitter.com/bFfwYIRCJIJuly 15, 2024
Uma vez compilado e em execução, o exo descobre automaticamente dispositivos na sua rede para incluir no cluster. Ele proporciona igualdade de dispositivos usando conexões peer-to-peer. Enquanto o exo suporta várias estratégias de partição para distribuir o trabalho entre os dispositivos, ele usa por padrão um esquema de memória ponderada em anel que aloca a carga de trabalho com base na quantidade de memória que cada dispositivo possui.
O software exo também suporta iOS, mas os desenvolvedores dizem que o código precisa de algum trabalho para estar pronto para uso mainstream. Eles retiraram a versão iOS, mas permitirão acesso a ela para aqueles que enviarem um e-mail ao desenvolvedor principal.
Os desenvolvedores também planejam mais refinamentos e recursos. Eles também têm um programa de recompensas para ajudar a adicionar novos recursos e compatibilidade. Até o momento desta redação, esses incluíam suporte para LLaVa, requisições em lote, um módulo de rede de rádio e suporte para inferência paralela em pipeline. Em seu estado atual, já parece um projeto interessante para experimentar.
Fonte: GitHub