Em uma série de duas partes, Notícias do MIT explora as implicações ambientais da IA generativa. Neste artigo, veremos por que essa tecnologia consome tantos recursos. Uma segunda peça investigará o que os especialistas estão fazendo para reduzir a pegada de carbono da genAI e outros impactos.
A excitação em torno dos potenciais benefícios do IA generativadesde a melhoria da produtividade dos trabalhadores até ao avanço da investigação científica, é difícil de ignorar. Embora o crescimento explosivo desta nova tecnologia tenha permitido a rápida implantação de modelos poderosos em muitas indústrias, as consequências ambientais desta “corrida do ouro” da IA generativa continuam difíceis de definir, e muito menos de mitigar.
O poder computacional necessário para treinar modelos generativos de IA que muitas vezes têm milhares de milhões de parâmetros, como o GPT-4 da OpenAI, pode exigir uma quantidade impressionante de eletricidade, o que leva ao aumento das emissões de dióxido de carbono e às pressões sobre a rede elétrica.
Além disso, a implementação destes modelos em aplicações do mundo actual, permitindo que milhões de pessoas utilizem IA generativa nas suas vidas diárias e, em seguida, afinando os modelos para melhorar o seu desempenho, consome grandes quantidades de energia muito depois de um modelo ter sido desenvolvido.
Para além da procura de electricidade, é necessária uma grande quantidade de água para arrefecer o {hardware} utilizado para treinar, implementar e afinar modelos de IA generativos, o que pode sobrecarregar o abastecimento de água municipal e perturbar os ecossistemas locais. O número crescente de aplicações generativas de IA também estimulou a procura de {hardware} de computação de alto desempenho, acrescentando impactos ambientais indiretos decorrentes do seu fabrico e transporte.
“Quando pensamos no impacto ambiental da IA generativa, não se trata apenas da eletricidade que você consome ao conectar o computador. Há consequências muito mais amplas que atingem o nível do sistema e persistem com base nas ações que tomamos”, diz Elsa A. Olivetti, professora do Departamento de Ciência e Engenharia de Materiais e líder da Missão de Descarbonização do novo Projeto Climático.
Olivetti é autora sênior de um artigo de 2024, “As implicações climáticas e de sustentabilidade da IA generativa”, de coautoria de colegas do MIT em resposta a uma chamada de artigos em todo o Instituto que explorem o potencial transformador da IA generativa, tanto em direções positivas quanto negativas para a sociedade.
Information facilities exigentes
As demandas de eletricidade dos knowledge facilities são um fator importante que contribui para os impactos ambientais da IA generativa, uma vez que os knowledge facilities são usados para treinar e executar modelos de aprendizagem profunda por trás de ferramentas populares como ChatGPT e DALL-E.
Um knowledge heart é um edifício com temperatura controlada que abriga infraestrutura de computação, como servidores, unidades de armazenamento de dados e equipamentos de rede. Por exemplo, a Amazon tem mais de 100 knowledge facilities em todo o mundocada um com cerca de 50.000 servidores que a empresa usa para oferecer suporte a serviços de computação em nuvem.
Embora os knowledge facilities existam desde a década de 1940 (o primeiro foi construído na Universidade da Pensilvânia em 1945 para apoiar o primeiro computador digital de uso geralo ENIAC), a ascensão da IA generativa aumentou dramaticamente o ritmo de construção de knowledge facilities.
“O que é diferente na IA generativa é a densidade de potência que ela requer. Fundamentalmente, trata-se apenas de computação, mas um cluster de treinamento de IA generativo pode consumir sete ou oito vezes mais energia do que uma carga de trabalho de computação típica”, diz Noman Bashir, autor principal do documento de impacto, que é Computing and Local weather Influence Fellow no MIT Local weather. e Sustentabilidade (MCSC) e pós-doutorado no Laboratório de Ciência da Computação e Inteligência Synthetic (CSAIL).
Os cientistas estimaram que os requisitos de energia dos centros de dados na América do Norte aumentaram de 2.688 megawatts no remaining de 2022 para 5.341 megawatts no remaining de 2023, em parte impulsionados pelas exigências da IA generativa. Globalmente, o consumo de eletricidade dos knowledge facilities aumentou para 460 terawatts em 2022. Isso teria twister os knowledge facilities o 11º maior consumidor de eletricidade do mundo, entre as nações da Arábia Saudita (371 terawatts) e França (463 terawatts), de acordo com o Organização para Cooperação e Desenvolvimento Econômico.
Até 2026, espera-se que o consumo de eletricidade dos centros de dados se aproxime dos 1.050 terawatts (o que levaria os centros de dados ao quinto lugar na lista world, entre o Japão e a Rússia).
Embora nem toda a computação do knowledge heart envolva IA generativa, a tecnologia tem sido um dos principais impulsionadores do aumento da procura de energia.
“A procura por novos centros de dados não pode ser satisfeita de forma sustentável. O ritmo a que as empresas estão a construir novos centros de dados significa que a maior parte da eletricidade para os alimentar deve provir de centrais elétricas baseadas em combustíveis fósseis”, afirma Bashir.
A potência necessária para treinar e implantar um modelo como o GPT-3 da OpenAI é difícil de determinar. Num artigo de investigação de 2021, cientistas do Google e da Universidade da Califórnia em Berkeley estimaram que só o processo de formação consumiu 1.287 megawatts-hora de eletricidade (o suficiente para abastecer cerca de 120 residências médias nos EUA durante um ano), gerando cerca de 552 toneladas de dióxido de carbono.
Embora todos os modelos de aprendizagem automática devam ser treinados, um problema exclusivo da IA generativa são as rápidas flutuações no uso de energia que ocorrem nas diferentes fases do processo de treinamento, explica Bashir.
Os operadores da rede elétrica devem ter uma forma de absorver essas flutuações para proteger a rede, e geralmente empregam geradores a diesel para essa tarefa.
Aumentando os impactos da inferência
Depois que um modelo generativo de IA é treinado, as demandas de energia não desaparecem.
Cada vez que um modelo é usado, talvez por um indivíduo que pede ao ChatGPT para resumir um e-mail, o {hardware} de computação que executa essas operações consome energia. Os pesquisadores estimaram que uma consulta ChatGPT consome cerca de cinco vezes mais eletricidade do que uma simples pesquisa na net.
“Mas o usuário comum não pensa muito sobre isso”, diz Bashir. “A facilidade de utilização das interfaces de IA generativa e a falta de informação sobre os impactos ambientais das minhas ações significa que, como utilizador, não tenho muitos incentivos para reduzir a minha utilização de IA generativa.”
Com a IA tradicional, o uso de energia é dividido igualmente entre processamento de dados, treinamento de modelo e inferência, que é o processo de usar um modelo treinado para fazer previsões sobre novos dados. No entanto, Bashir espera que as exigências de eletricidade da inferência de IA generativa acabem por dominar, uma vez que estes modelos estão a tornar-se omnipresentes em muitas aplicações, e a eletricidade necessária para a inferência aumentará à medida que as versões futuras dos modelos se tornarem maiores e mais complexas.
Além disso, os modelos generativos de IA têm uma vida útil especialmente curta, impulsionada pela crescente procura de novas aplicações de IA. As empresas lançam novos modelos a cada poucas semanas, de modo que a energia usada para treinar as versões anteriores é desperdiçada, acrescenta Bashir. Novos modelos costumam consumir mais energia para treinamento, pois costumam ter mais parâmetros que seus antecessores.
Embora as necessidades de eletricidade dos centros de dados possam estar a receber a maior atenção na literatura de investigação, a quantidade de água consumida por estas instalações também tem impactos ambientais.
A água gelada é usada para resfriar um knowledge heart, absorvendo o calor dos equipamentos de computação. Estima-se que, para cada quilowatt-hora de energia que um knowledge heart consome, seriam necessários dois litros de água para resfriamento, diz Bashir.
“Só porque isso é chamado de ‘computação em nuvem’ não significa que o {hardware} vive na nuvem. Os knowledge facilities estão presentes em nosso mundo físico e, devido ao uso da água, têm implicações diretas e indiretas para a biodiversidade”, afirma.
O {hardware} de computação dentro dos knowledge facilities traz seus próprios impactos ambientais menos diretos.
Embora seja difícil estimar quanta energia é necessária para fabricar uma GPU, um tipo de processador poderoso que pode lidar com cargas de trabalho intensivas de IA generativa, seria mais do que o necessário para produzir uma CPU mais simples porque o processo de fabricação é mais complexo. A pegada de carbono de uma GPU é agravada pelas emissões relacionadas ao transporte de materiais e produtos.
Existem também implicações ambientais na obtenção de matérias-primas utilizadas para fabricar GPUs, que podem envolver procedimentos de mineração sujos e o uso de produtos químicos tóxicos para processamento.
A empresa de pesquisa de mercado TechInsights estima que os três principais produtores (NVIDIA, AMD e Intel) enviaram 3,85 milhões de GPUs para knowledge facilities em 2023, acima dos cerca de 2,67 milhões em 2022. Espera-se que esse número tenha aumentado em uma porcentagem ainda maior em 2024. .
A indústria está num caminho insustentável, mas existem formas de encorajar o desenvolvimento responsável de IA generativa que apoie objectivos ambientais, diz Bashir.
Ele, Olivetti e os seus colegas do MIT argumentam que isto exigirá uma consideração abrangente de todos os custos ambientais e sociais da IA generativa, bem como uma avaliação detalhada do valor dos seus benefícios percebidos.
“Precisamos de uma forma mais contextual de compreender de forma sistemática e abrangente as implicações dos novos desenvolvimentos neste espaço. Devido à velocidade com que ocorreram melhorias, não tivemos a oportunidade de recuperar o atraso em nossa capacidade de medir e compreender as compensações”, diz Olivetti.