Devido ao crescimento explosivo da inteligência synthetic, estima-se que os knowledge facilities consumirão até 12 por cento do complete de eletricidade dos EUA até 2028de acordo com o Laboratório Nacional Lawrence Berkeley. Melhorar a eficiência energética dos knowledge facilities é uma das maneiras pelas quais os cientistas estão se esforçando para tornar a IA mais sustentável.
Para atingir esse objetivo, pesquisadores do MIT e do MIT-IBM Watson AI Lab desenvolveram uma ferramenta de previsão rápida que informa aos operadores de knowledge heart quanta energia será consumida ao executar uma determinada carga de trabalho de IA em um determinado processador ou chip acelerador de IA.
Seu método produz estimativas de energia confiáveis em poucos segundos, ao contrário das técnicas tradicionais de modelagem que podem levar horas ou até dias para produzir resultados. Além disso, sua ferramenta de previsão pode ser aplicada a uma ampla variedade de configurações de {hardware} — até mesmo a designs emergentes que ainda não foram implantados.
Os operadores de knowledge facilities poderiam usar essas estimativas para alocar efetivamente recursos limitados em vários modelos e processadores de IA, melhorando a eficiência energética. Além disso, esta ferramenta poderia permitir que os desenvolvedores de algoritmos e fornecedores de modelos avaliassem o consumo potencial de energia de um novo modelo antes de implementá-lo.
“O desafio da sustentabilidade da IA é uma questão premente que temos de responder. Como o nosso método de estimativa é rápido, conveniente e fornece suggestions direto, esperamos que ele torne os desenvolvedores de algoritmos e os operadores de knowledge facilities mais propensos a pensar em reduzir o consumo de energia”, diz Kyungmi Lee, pós-doutorando do MIT e autor principal de um estudo. artigo sobre esta técnica.
Ela é acompanhada no artigo por Zhiye Music, estudante de graduação em engenharia elétrica e ciência da computação (EECS); Eun Kyung Lee e Xin Zhang, gerentes de pesquisa da IBM Analysis e do MIT-IBM Watson AI Lab; Tamar Eilam, IBM Fellow, cientista-chefe de computação sustentável da IBM Analysis e membro do MIT-IBM Watson AI Lab; e a autora sênior Anantha P. Chandrakasan, reitora do MIT, professora Vannevar Bush de Engenharia Elétrica e Ciência da Computação e membro do MIT-IBM Watson AI Lab. A pesquisa está sendo apresentada esta semana no Simpósio Internacional IEEE sobre Análise de Desempenho de Sistemas e Software program.
Agilizando a estimativa de energia
Dentro de um knowledge heart, milhares de poderosas unidades de processamento gráfico (GPUs) realizam operações para treinar e implantar modelos de IA. O consumo de energia de uma GPU específica varia de acordo com sua configuração e a carga de trabalho que ela está lidando.
Muitos métodos tradicionais usados para prever o consumo de energia envolvem dividir uma carga de trabalho em etapas individuais e emular como cada módulo dentro da GPU está sendo utilizado, uma etapa de cada vez. Mas as cargas de trabalho de IA, como treinamento de modelo e pré-processamento de dados, são extremamente grandes e podem levar horas ou até dias para serem simuladas dessa maneira.
“Como operador, se eu quiser comparar diferentes algoritmos ou configurações para encontrar a maneira de proceder com maior eficiência energética, se uma única emulação levar dias, isso se tornará muito impraticável”, diz Lee.
Para acelerar o processo de previsão, os pesquisadores do MIT procuraram usar informações menos detalhadas que pudessem ser estimadas mais rapidamente. Eles descobriram que as cargas de trabalho de IA costumam ter muitos padrões repetíveis. Eles poderiam usar esses padrões para gerar as informações necessárias para uma estimativa de energia confiável, mas rápida.
Em muitos casos, os desenvolvedores de algoritmos escrevem programas para serem executados da maneira mais eficiente possível em uma GPU. Por exemplo, eles usam otimizações bem estruturadas para distribuir o trabalho entre núcleos de processamento paralelo e mover blocos de dados da maneira mais eficiente.
“Essas otimizações que os desenvolvedores de software program usam criam uma estrutura common e é isso que estamos tentando aproveitar”, explica Lee.
Os pesquisadores desenvolveram um modelo de estimativa leve, chamado EnergAIzer, que captura o padrão de uso de energia de uma GPU a partir dessas otimizações.
Uma avaliação precisa
Mas embora a estimativa tenha sido rápida, os investigadores descobriram que não levavam em conta todos os custos de energia. Por exemplo, cada vez que uma GPU executa um programa, há um custo fixo de energia necessário para instalar e configurar esse programa. Então, cada vez que a GPU executa uma operação em um bloco de dados, um custo adicional de energia deve ser pago.
Devido a flutuações no {hardware} ou conflitos no acesso ou movimentação de dados, uma GPU pode não conseguir usar toda a largura de banda disponível, tornando as operações mais lentas e consumindo mais energia ao longo do tempo.
Para incluir esses custos e variações adicionais, os pesquisadores reuniram medições reais de GPUs para gerar termos de correção aplicados ao seu modelo de estimativa.
“Dessa forma, podemos obter uma estimativa rápida e também muito precisa”, diz ela.
No remaining, um usuário pode fornecer informações sobre sua carga de trabalho, como o modelo de IA que deseja executar e o número e duração das entradas do usuário a serem processadas, e o EnergAIzer produzirá uma estimativa de consumo de energia em questão de segundos.
O usuário também pode alterar a configuração da GPU ou ajustar a velocidade operacional para ver como essas escolhas de design afetam o consumo geral de energia.
Quando os pesquisadores testaram o EnergAIzer usando informações reais de carga de trabalho de IA de GPUs reais, ele conseguiu estimar o consumo de energia com apenas cerca de 8% de erro, o que é comparável aos métodos tradicionais que podem levar horas para produzir resultados.
Seu método também poderia ser usado para prever o consumo de energia de futuras GPUs e configurações emergentes de dispositivos, desde que o {hardware} não mude drasticamente em um curto espaço de tempo.
No futuro, os pesquisadores querem testar o EnergAIzer nas configurações de GPU mais recentes e ampliar o modelo para que possa ser aplicado a muitas GPUs que estão colaborando para executar uma carga de trabalho.
“Para realmente causar um impacto na sustentabilidade, precisamos de uma ferramenta que possa fornecer uma solução rápida de estimativa de energia em toda a pilha, para designers de {hardware}, operadores de knowledge facilities e desenvolvedores de algoritmos, para que todos possam estar mais conscientes do consumo de energia. Com esta ferramenta, demos um passo em direção a esse objetivo”, diz Lee.
Esta pesquisa foi financiada, em parte, pelo MIT-IBM Watson AI Lab.