Os pesquisadores do Google analisaram quanta energia, água e emissões de carbono que uma consulta de texto de gêmeos generaliza gera
Tornou -se sabedoria convencional que o uso de um chatbot da AI como o ChatGPT para consultas requer muito mais energia do que usar um mecanismo de pesquisa common, devido à computação avançada envolvida. No entanto, embora existam estimativas – uma comum é 10x a mais de energia para uma consulta de IA do que uma pesquisa na internet – as empresas que realmente precisam calcular essas coisas (e pagar por elas) mantiveram amplamente a mãe. E quanto a quantificar os outros impactos da IA, para criar uma figura que reflete com mais precisão o custo ambiental whole de uma consulta?
Em um novo artigo, pesquisadores do Google fazem exatamente isso. Eles mediram a medição do uso de energia, as emissões de carbono e o consumo de água do próprio assistente de gemini da AI do Google, em um ambiente de produção em larga escala.
“Nossa abordagem é responsável pela pilha completa da infraestrutura de atendimento de IA – incluindo energia do acelerador de IA ativo, energia do sistema de hospedeiros, capacidade de máquina ociosa e sobrecarga de energia do knowledge middle”, disseram os pesquisadores em seu documento técnico.
Sua conclusão? O immediate mediano de texto através de aplicativos Gemini consome 0,24 watts-hora de energia, além do equivalente a cinco gotas de água. (Mais sobre as emissões de carbono em um segundo.)
Os pesquisadores disseram que o consumo de energia é menor do que o consumido assistindo nove segundos de TV e também observou que o número é “substancialmente menor do que muitas estimativas públicas”. Então, nove segundos de TV e cinco gotas de água por consulta de texto. Isso não soa muito … até você começar a pensar no fato de que os gêmeos do Google têm mais de 400 milhões de usuários ativos mensais, que estão fazendo várias consultas por dia e muitas vezes pedindo geração de imagem ou vídeo.
“Embora esses impactos sejam baixos em comparação com outras atividades diárias, a redução do impacto ambiental da porção de IA continua a justificar atenção importante”, escreveram os pesquisadores.
A crescente adoção pública de IA generativa está mudando a conversa em torno do impacto ambiental da IA, para incluir não apenas o treinamento de modelos intensivos em energia, mas a pegada ambiental da inferência e porção do modelo de IA. “Com esses modelos de IA agora servindo bilhões de usuários de usuários globalmente, a energia, as emissões de carbono e os impactos da água associados à geração de respostas em escala representa um componente significativo e rápido do custo ambiental geral da IA”, segundo os pesquisadores do Google.
Medir os impactos da IA nem sempre é claro
Houve outras tentativas de quantificar o uso de energia da IA. Por exemplo, o Salesforce e a comunidade aberta abraçando o rosto Pontuação de energia da IAque se concentra na eficiência energética comparável de diferentes modelos para que os desenvolvedores possam fazer escolhas sobre qual (s) um (s) usar. Há também o ML. Referência de Energiaque saiu de um grupo de pesquisa na Universidade de Michigan. Ambos têm tabelas de classificação que mostram classificações relativas de diferentes modelos.
Outra pesquisa explorou, por exemplo, o diferença no consumo de energia Entre pedir à IA para gerar texto, imagens ou vídeo – com os dois últimos sendo muito mais intensivos em energia. Muitas vezes, a pesquisa se concentra apenas no uso de energia, em vez de incluir outros impactos bem conhecidos de uso generativo de IA, como uso da água. Mas, fundamentalmente, como os pesquisadores do Google escrevem em seu artigo: “O campo carece de dados de primeira parte dos maiores provedores de modelos de IA”.
Eles também apontaram para outra questão essential quando se trata de descobrir o impacto ambiental da IA: entre a comunidade de pesquisa em geral, há desacordo sobre o qual as atividades que consomem energia devem ser incluídas na análise de consultas de IA, resultando em ampla variação de estimativas sobre o consumo de energia. E, disseram os pesquisadores do Google, algumas das abordagens mais estreitas estão faltando fontes significativas de uso de energia.
Amin Vahdat, vice Postagem no weblog na pesquisa.
“Muitos cálculos atuais de consumo de energia da IA incluem apenas o consumo ativo da máquina, com vista para vários dos fatores críticos discutidos acima”, escreveram Vahdat e Dean. “Como resultado, eles representam a eficiência teórica em vez de a verdadeira eficiência operacional em escala. Quando aplicamos essa metodologia não compreensiva que apenas considera o consumo ativo de TPU e GPU, estimamos que o immediate mediano de texto de Gemini usa 0,10 wh de energia, emite 0,02 GCO2E, e consome 0,12 ml de água. Este é um cenário otimista, na melhor das hipóteses, subestima substancialmente a pegada operacional actual da IA. ”
Em vez disso, os pesquisadores do Google calcularam seus números com base em que: “Caracterizar e otimizar o impacto ambiental do modelo de IA que serve requer uma visão abrangente do consumo de energia – incluindo o poder desenhado pela CPU e DRAM da máquina host, a energia significativa consumida pela efetividade inocente (PO da confiabilidade e da baixa latência e a complete middle de knowledge, conforme capturado pela potência dos usuários, p. Eles acrescentaram isso: “Responde a todas as fontes de energia materiais”.
Seu trabalho resultou na quantificação de medições de três maneiras:
- Uso de energia por immediate.
- As emissões baseadas no mercado por immediate, geradas pelo uso da grade e pelo {hardware} de computação associado.
- Consumo de água por immediate, principalmente para resfriamento de knowledge middle.
Vamos round de volta à métrica de emissões por promoção, que os pesquisadores do Google descobriram ter 0,03 gramas de equivalente a dióxido de carbono (GCO2e) para esse immediate mediano de texto. Isso foi calculado com base na “mistura de energia da grade native da eletricidade consumida e nas emissões incorporadas do {hardware} de computação”, de acordo com o trabalho de pesquisa.
A grade de energia native, em specific, é uma métrica altamente variável entre países e regiões, porque depende de quanta energia verde está disponível localmente e é usada pelo provedor de modelos. Os pesquisadores do Google analisaram os fatores médios anuais de emissão de grade do ano anterior do ano de calendário nos knowledge facilities do Google, a fim de ter um ano inteiro de dados para usar nos cálculos-e poder trabalhar em créditos para compras de energia verde, que O Google priorizou.
Esses números são importantes. Os pesquisadores descobriram que, em um ano, “os esforços de eficiência de software program do Google e a aquisição de energia limpa impulsionaram uma redução de 33x no consumo de energia e uma redução de 44x na pegada de carbono para o immediate de texto mediano de aplicativos de gêmeos”.
Vahdat e Dean escreveram: “Acreditamos que esta é a visão mais completa da pegada geral da IA”.
Leia a postagem do weblog aquique inclui hyperlinks para o trabalho de pesquisa; além de comentários adicionais aqui De Ben Gomes, o principal tecnólogo do Google para aprender e sustentabilidade.