Você ama o aprendizado de máquina. Você deseja que uma GPU da NVIDIA A100 experimente os últimos avanços. Você não tem uma GPU da NVIDIA A100. Você não pode obter uma GPU da NVIDIA A100. Eu consegui isso certo? Não é preciso um leitor de mente para descobrir muito. A atual inteligência synthetic (AI) no verão está escaldante. Os avanços no algoritmo e no design de {hardware} levaram ao desenvolvimento de uma nova classe de aplicativos movidos a IA que estão provocando interesse no campo como nunca antes. E isso significa que as GPUs mais recentes e mais recentes estão sendo compradas por grandes organizações, deixando nenhuma para o resto de nós – mesmo que pudéssemos encontrar milhares de dólares que eles custam entre as almofadas do sofá.
Se contentar com o que você tem
Felizmente, isso não significa necessariamente que o passion da AI está sem sorte. Muitos de nós têm muito poder de computação disponível para nós hoje em dia – ele está apenas espalhado por muitos dispositivos. Você pode ter uma pilha de laptops antigos, alguns desktops envelhecidos no canto e uma gaveta cheia de pis de framboesa e smartphones mais antigos. Se você de alguma forma esmagou todos esses recursos em um único pool, pode ser o suficiente para executar até os mais recentes modelos de idiomas, como Deepseek R1 671B, localmente em seu próprio {hardware}.
Mas como você pode fazer isso? Um pacote de software program de código aberto chamado EXO está buscando simplificar o processo. Isso torna possível distribuir cargas de trabalho de IA em um grande número de dispositivos de computação heterogênea, alavancando a memória e o poder de computação de cada um como se fosse uma única unidade. Dessa forma, um monte de laptops antigos, computadores de placa única e smartphones podem executar até os mais recentes algoritmos de AI-com ou sem GPUs.
Para usar o EXO, todos os dispositivos precisam ser conectados à mesma rede native. O software program descobre automaticamente todos os dispositivos disponíveis, eliminando a necessidade de um processo de configuração complexo. Uma estratégia dinâmica de particionamento de modelos divide os modelos em peças por meio de uma das várias opções disponíveis que podem, por exemplo, executar certas camadas de modelo em determinados dispositivos, de acordo com seus recursos.
Isso é muito pi
O único requisito rígido do EXO é que existe uma memória suficiente em todos os dispositivos para se ajustar ao modelo que você deseja carregar. Isso ainda pode ser uma grande pergunta, no entanto. Deepseek R1 671B, por exemplo, requer cerca de 1.342 GB de memória para ser executado. Isso levaria cerca de 168 pis de framboesa com 8 GB de RAM. Mas, para necessidades mais modestas, o agrupamento de memória talvez possa levar muitos de nós a algumas centenas de gigabytes, pelo menos, o que seria um grande trecho para uma única máquina.
Instruções completas para instalar o EXO e a execução são Disponível no GitHubentão não deixe de conferir. Não apenas permitirá que você jogue com algumas ferramentas poderosas de IA, mas também permitirá que você use algum {hardware} antigo que está sentado na coleta de poeira, e isso sempre é bom.