Os chatbots experimentaram um aumento meteórico em popularidade nos últimos anos, por isso não deve ser uma grande surpresa que os hackers de {hardware} também tenham se interessado por eles. As ferramentas funcionam bem do jeito que estão (e construir e treinar um novo modelo não é um projeto de fim de semana), então a maioria desses hacks tem como objetivo atualizar a interface do usuário. Digitar no teclado ou digitar uma mensagem na tela do telefone não proporciona uma ótima experiência de chatbot. Conversar com uma caixinha que você pode carregar no bolso, ao contrário, é muito mais pure.
Recentemente vimos um exemplo muito interessante de chatbot de voz dedicado que foi desenvolvido pela PiSugar. No entanto, este dispositivo dependia de APIs externas para fazer sua mágica, então se você está preocupado com a privacidade ou deseja usá-lo onde o Wi-Fi não está disponível, não terá utilidade. Mas agora Jdaie Lin mostrou como esse mesmo design básico pode ser modificado para criar um chatbot de IA totalmente offline. Não é tão pequeno quanto a versão on-line, mas ainda é pequeno o suficiente para ser transportado para qualquer lugar.
O {hardware} simplesmente se encaixa (📷: Jdaie Lin)
O chatbot é alimentado por um computador de placa única Raspberry Pi 5 com 8 GB de RAM. O computador está equipado com um cooler ativo porque, embora o Pi 5 possa lidar com os algoritmos, toda aquela análise de números o deixa quente o suficiente para fritar um ovo. Ele é emparelhado com um Whisplay HAT, que inclui tela, microfone, alto-falante e alguns botões – essencialmente tudo o que é necessário para criar um assistente de voz decente. Para uso em trânsito, Lin também conectou uma bateria PiSugar 3 Plus de 5.000 mAh para manter o {hardware} funcionando por um longo período de tempo.
No vídeo, Lin percorre o processo de construção passo a passo. A arquitetura básica desses sistemas é um problema praticamente resolvido no momento – você precisa de uma ferramenta de reconhecimento de fala para transcrever solicitações de voz, um grande modelo de linguagem para processar as solicitações e um serviço de conversão de texto em fala para falar as respostas retornadas pelo modelo. Lin usou o Repositório Whisplay-ai-chatbot GitHub para conectar facilmente essas ferramentas e usou especificamente o Whisper para reconhecimento de fala, Ollama para implantar um modelo Qwen3-1.7B e Piper para geração de fala.
As demonstrações mostram que o assistente de voz é bastante ágil para um chatbot offline. O usuário apenas pressiona um botão, fala sua solicitação e, em seguida, uma resposta audível é reproduzida pelo alto-falante. O dispositivo também pode executar modelos no modo de pensamento para questões mais complexas, embora as respostas demorem um pouco mais.
Se você tiver algum interesse em construir seu próprio chatbot offline, não deixe de conferir o vídeo. São necessários apenas alguns componentes de {hardware} e Lin explica todos os detalhes necessários para colocar o sistema em funcionamento.