Algumas empresas estão indo além, adotando modelos mais antigos ou alternativas de código aberto para casos de uso apropriados. A Qualcomm, por exemplo, investiu na execução de modelos em seu próprio {hardware}, em vez de depender exclusivamente de fornecedores de modelos baseados em nuvem. Essa abordagem requer mais sofisticação técnica, mas pode reduzir drasticamente os custos por token para aplicações de alto quantity.
O verdadeiro desafio
Aqui está o que mais me preocupa sobre a situação atual. Muitas empresas implantaram IA sem implementar antecipadamente uma infra-estrutura adequada de gestão de custos. Eles foram apanhados pelo entusiasmo da tecnologia, pela pressão competitiva para avançar rapidamente e pela crença de que os benefícios justificariam quaisquer que fossem os custos. Essa abordagem funcionou quando os projetos de IA eram experimentos em pequena escala. Agora que a IA se está a tornar essencial para as operações empresariais, a falta de controlos financeiros está a tornar-se um problema grave. Precisamos trazer à aquisição e implantação de IA o mesmo rigor que aplicamos a todos os outros investimentos significativos em tecnologia.
As organizações bem-sucedidas tratarão os custos dos tokens de IA como uma despesa operacional gerenciada, em vez de uma variável imprevisível. Isso significa implantar as mesmas ferramentas e disciplinas que funcionaram para o gerenciamento de custos na nuvem: visibilidade, responsabilidade, otimização e melhoria contínua.