Equilibrando custo, potência e desempenho de IA – O’Reilly

Na próxima vez que você usar uma ferramenta como ChatGPT ou Perplexity, pare e conte o whole de palavras que estão sendo geradas para atender sua solicitação. Cada palavra resulta de um processo chamado inferência – o mecanismo de geração de receitas dos sistemas de IA onde cada palavra gerada pode ser analisada utilizando princípios básicos de negócios financeiros e económicos. O objetivo de realizar esta análise económica é garantir que os sistemas de IA que concebemos e implementamos na produção são capazes de gerar resultados positivos sustentáveis ​​para um negócio.

A Economia da Inferência de IA

O objetivo de realizar análises económicas em sistemas de IA é garantir que as implantações de produção sejam capazes de obter resultados financeiros positivos sustentados. Como os aplicativos convencionais mais populares de hoje são baseados em modelos de geração de texto, adotamos o token como nossa principal unidade de medida. Tokens são representações vetoriais de texto; modelos de linguagem processam sequências de entrada de tokens e produzem tokens para formular respostas.

Quando você pergunta a um chatbot de IA: “Quais são os remédios caseiros tradicionais para a gripe?” essa frase é primeiro convertida em representações vetoriais passadas por um modelo treinado. À medida que esses vetores fluem pelo sistema, milhões de cálculos de matrizes paralelas extraem significado e contexto para determinar a combinação mais provável de tokens de saída para uma resposta eficaz.

Podemos pensar no processamento de tokens como uma linha de montagem em uma fábrica de automóveis. A eficácia da fábrica é medida pela eficiência com que produz veículos por hora. Essa eficiência determina ou prejudica os resultados financeiros do fabricante, portanto, medi-la, otimizá-la e equilibrá-la com outros fatores é elementary para o sucesso do negócio.

Preço-Desempenho vs. Custo Complete de Propriedade

Para sistemas de IA, especialmente modelos de linguagem de grande porte, medimos a eficácia dessas “fábricas de tokens” por meio de análises de preço-desempenho. O preço-desempenho difere do custo whole de propriedade (TCO) porque é uma medida operacionalmente otimizável que varia entre cargas de trabalho, configurações e aplicações, enquanto o TCO representa o custo de possuir e operar um sistema.

Em sistemas de IA, o TCO consiste principalmente em custos de computação – normalmente aluguel de cluster de GPU ou custos de propriedade por hora. No entanto, a análise do TCO muitas vezes omite os custos significativos de engenharia para manter acordos de nível de serviço (SLA), incluindo depuração, aplicação de patches e aumento do sistema ao longo do tempo. Acompanhar o tempo de engenharia continua a ser um desafio mesmo para organizações maduras, e é por isso que normalmente é excluído dos cálculos do TCO.

Como qualquer sistema de produção, focar em parâmetros otimizáveis ​​proporciona o maior valor. As métricas de preço-desempenho ou desempenho de energia nos permitem medir a eficiência do sistema, avaliar diferentes configurações e estabelecer linhas de base de eficiência ao longo do tempo. As duas métricas de preço-desempenho mais comuns para sistemas de modelos de linguagem são eficiência de custos (tokens por dólar) e eficiência energética (tokens por watt).

Tokens por dólar: eficiência de custos

Tokens por dólar (tok/$) expressa quantos tokens você pode processar para cada unidade monetária gasta, integrando o rendimento do seu modelo com os custos de computação:

Onde fichas/s é o seu rendimento medido e $/segundo de computação é o custo efetivo de execução do modelo por segundo (por exemplo, preço por hora de GPU dividido por 3.600).

Aqui estão alguns fatores-chave que determinam a eficiência de custos:

• Tamanho do modelo: Modelos maiores, apesar de geralmente terem melhor desempenho de modelagem de linguagem, exigem muito mais computação por token, impactando diretamente na eficiência de custos.
• Arquitetura do modelo: A computação de arquitetura densa (LLMs tradicionais) por token cresce linear ou superlinear com a profundidade do modelo ou tamanho da camada. Uma mistura de especialistas (LLMs esparsos mais recentes) desacopla a computação por token da contagem de parâmetros, ativando apenas partes selecionadas do modelo durante a inferência, tornando-os indiscutivelmente mais eficientes.
• Custo de cálculo: O TCO varia significativamente entre o aluguel de nuvem pública e a construção de information facilities privados, dependendo dos custos do sistema e dos termos do contrato.
• Pilha de software program: Existem oportunidades de otimização significativas aqui – selecionar estruturas de inferência ideais, configurações de inferência distribuída e otimizações de kernel podem melhorar drasticamente a eficiência. Estruturas de código aberto como vLLM, SGLang e TensorRT-LLM fornecem melhorias regulares de eficiência e recursos de última geração.
• Requisitos do caso de uso: Os aplicativos de bate-papo de atendimento ao cliente normalmente processam menos de algumas centenas de tokens por solicitação completa. Pesquisas profundas ou tarefas complexas de geração de código geralmente processam dezenas de milhares de tokens, aumentando significativamente os custos. É por isso que os serviços limitam tokens diários ou restringem ferramentas de pesquisa profunda, mesmo para planos pagos.

Para refinar ainda mais a análise de eficiência de custos, é prático separar os recursos computacionais consumidos para a fase de processamento de entrada (contexto) e a fase de geração de saída (decodificação). Cada fase pode ter requisitos distintos de tempo, memória e {hardware}, afetando o rendimento e a eficiência gerais. Medir o custo por token para cada fase individualmente permite a otimização direcionada, como ajuste de kernel para ingestão rápida de contexto ou melhorias de memória/cache para geração eficiente, tornando os modelos de custo operacional mais acionáveis ​​tanto para engenharia quanto para planejamento de capacidade.

Tokens por Watt: Eficiência Energética

À medida que a adoção da IA ​​acelera, a energia da rede emergiu como uma das principais restrições operacionais para information facilities em todo o mundo. Muitas instalações dependem agora de geradores movidos a gás para uma fiabilidade a curto prazo, enquanto estão em curso projectos nucleares de vários gigawatts para satisfazer a procura a longo prazo. A escassez de energia, o congestionamento da rede e a inflação dos custos de energia estão a impactar diretamente a viabilidade e a rentabilidade, tornando a análise da eficiência energética uma componente crítica da economia da IA.

Neste ambiente, tokens por watt-segundo (TPW) torna-se uma métrica crítica para capturar como a infraestrutura e o software program convertem energia em resultados de inferência úteis. O TPW não apenas molda o TCO, mas também governa cada vez mais a pegada ambiental e o teto de crescimento para implantações de produção. Maximizar o TPW significa mais valor por joule de energia – tornando-o um parâmetro chave otimizável para alcançar escala. Podemos calcular o TPW usando a seguinte equação:

Vamos considerar um bot de atendimento ao cliente de comércio eletrônico, com foco no consumo de energia durante a implantação da produção. Suponha que seu comportamento operacional medido seja:

• Tokens gerados por segundo: 3.000 tokens/s
• Consumo médio de energia do {hardware} de serviço (GPU mais servidor): 1.000 watts
• Tempo operacional whole para 10.000 solicitações de clientes: 1 hora (3.600 segundos)

Opcionalmente, aumente para tokens por quilowatt-hora (kWh) multiplicando por 3,6 milhões de joules/kWh.

Neste exemplo, cada kWh entrega mais de 10 milhões de tokens aos clientes. Se usarmos o custo médio nacional de kWh de US$ 0,17/kWh, o custo de energia por token é de US$ 0,000000017 – portanto, mesmo ganhos modestos de eficiência por meio de coisas como otimização algorítmica, compressão de modelo ou atualizações de resfriamento de servidor podem produzir economias significativas de custos operacionais e melhorar a sustentabilidade geral do sistema.

Considerações sobre medição de potência

Os fabricantes definem a potência térmica projetada (TDP) como o limite máximo de potência sob carga, mas o consumo actual de energia varia. Para análise de eficiência energética, use sempre o consumo de energia medido em vez das especificações de TDP nos cálculos de TPW. A Tabela 1 abaixo descreve alguns dos métodos mais comuns para medir o consumo de energia.

O consumo de energia deve ser medido para cenários próximos à sua distribuição P90. Aplicações com carga irregular exigem medições em amplas varreduras de configuração, especialmente aquelas com seleção dinâmica de modelo ou comprimentos de sequência variados.

O componente de processamento de contexto da inferência é normalmente curto, mas limitado pela computação devido a cálculos altamente paralelos que saturam os núcleos. A geração da sequência de saída é mais limitada pela memória, mas dura mais (exceto para classificação de token único). Portanto, os aplicativos que recebem grandes entradas ou documentos inteiros podem apresentar um consumo de energia significativo durante a fase estendida de contexto/pré-preenchimento.

Custo por resposta significativa

Embora o custo por token seja útil, custo por unidade significativa de valor—custo por resumo, tradução, consulta de pesquisa ou chamada de API—pode ser mais importante para decisões de negócios.

Dependendo do caso de uso, custos de resposta significativos podem incluir “reexecuções” de qualidade ou baseadas em erros e componentes de pré/pós-processamento, como incorporações para geração aumentada de recuperação (RAG) e LLMs de proteção:

onde:

• E_𝑡 é a média de tokens gerados por resposta, excluindo tokens de entrada. Para modelos de raciocínio, os tokens de raciocínio devem ser incluídos nesta figura.
• AA é a média de tentativas por resposta significativa.
• C_𝑡 é o seu custo por token (anteriormente).
• P_𝑡 é o número médio de tokens de pré/pós-processamento.
• C_𝑝 é o custo por token de pré/pós-processamento, que deve ser muito menor que C_𝑡.

Vamos expandir nosso exemplo anterior para considerar o custo de um bot de atendimento ao cliente de comércio eletrônico por resposta significativa, com o seguinte comportamento e características operacionais medidos:

• Resposta média: 100 tokens de raciocínio + 50 tokens de saída padrão (150 no whole)
• Taxa de sucesso: 1,2 tentativas em média
• Custo por token: US$ 0,00015
• Processamento Guardrail: 150 tokens a US$ 0,000002 por token

Este cálculo, combinado com outros fatores de negócio, determina preços sustentáveis ​​para otimizar a rentabilidade do serviço. Uma análise semelhante pode ser realizada para determinar a eficiência energética, substituindo a métrica de custo por token por uma medida de joule por token. No last, cada organização deve determinar quais métricas capturam o impacto nos resultados financeiros e como proceder para otimizá-las.

Além do custo e poder do token

As métricas de tokens por dólar e tokens por watt que analisamos fornecem os blocos de construção fundamentais para a economia da IA, mas os sistemas de produção operam em cenários de otimização muito mais complexos. As implementações reais enfrentam compromissos crescentes onde a diminuição dos retornos, os custos de oportunidade e as funções de utilidade se cruzam com restrições práticas em torno do rendimento, dos padrões de procura e da capacidade da infra-estrutura. Estas realidades económicas vão muito além dos simples cálculos de eficiência.

A verdadeira estrutura de custos dos sistemas de IA abrange múltiplas camadas interconectadas – desde o processamento de tokens individuais, passando pela arquitetura de computação, até o design do information middle e a estratégia de implantação. Cada escolha arquitetônica se espalha por toda a pilha econômica, criando oportunidades de otimização que as métricas puras de preço-desempenho não podem revelar. Compreender estas relações em camadas é essencial para construir sistemas de IA que permaneçam economicamente viáveis ​​à medida que vão do protótipo à produção.