Os dados de silício lança o primeiro índice de preços de aluguel da GPU

Pergunte o que – se qualquer coisa – está segurando a indústria da IA ​​e a resposta que você obtém depende muito de quem você está falando. Eu perguntei um de Bloomberg’s ex -diretores de dados de dados, Carmen Lie sua resposta foi “transparência de preços”.

De acordo com a LI, a incapacidade da maioria das empresas de IA menores de prever quanto precisarão gastar com o privilégio de alugar tempo em uma GPU para treinar seus modelos torna seus negócios imprevisíveis e tornou as empresas de IA financiar desnecessariamente caras. Ela fundou a startup Dados de silício Para criar uma solução: o primeiro índice de preços de aluguel mundial para uma GPU.

Aquele índice de preços de aluguel, chamado de Sdh100rtlançado hoje. Todos os dias, ele terá 3,5 milhões de pontos de dados de mais de 30 fontes em todo o mundo para fornecer um preço médio de aluguel no uso de um Nvidia H100 GPU por uma hora. (“Preço à vista” é o que uma mercadoria a ser entregue imediatamente agora.)

“Eu realmente acredito que o Compute será o maior recurso para a humanidade nos próximos anos”, diz Li. “Se minha tese estiver certa, precisará de um gerenciamento de riscos mais sofisticado”.

Segundo Li, esse índice levará a ferramentas de IA mais baratas e mais oportunidades para um conjunto mais amplo de jogadores se envolverem na indústria de IA. Como você vai de um índice para tudo isso? A história de origem dos dados de silício ajuda a explicar.

US $ 1,04: Vantagem do preço do aluguel para Nvidia H100 GPUs na costa leste do Estados Unidos versus aqueles na costa oeste.

Até o início do ano passado, Li estava encarregado da integração world de dados em Bloomberg. Nessa posição, ela se encontrou com várias pequenas empresas que estavam tentando entregar produtos de dados alimentados por IA, e muitos deles estavam lutando com o mesmo problema. Eles só podiam oferecer seu produto a uma taxa fixa, mas o custo do tempo de GPU que eles precisavam period imprevisível. Portanto, também eram suas margens de lucro.

Com mercadorias típicas como energia, as empresas podem planejar esses balanços conhecendo tendências históricas e hedge com produtos financeiros como contratos futuros. Mas isso não existia para a principal mercadoria da IA, o tempo em uma GPU. Portanto, Li decidiu criar a base para esses produtos, e o resultado é o índice de preços SDH100RT.

Ela escolheu indexar o Nvidia H100, porque é a GPU mais amplamente implantada, e é usado para treinar novos Modelos de IA. No entanto, um índice de preços da NVIDIA A100S, que enfrenta muitas tarefas de inferência, também está em andamento. E ela desenvolveu um método que determinará quando faz sentido indexar preços para outros AI chipscomo aqueles de AMD e Nvidia’s Blackwell série.

Carmen Li fundou os dados de silício após uma passagem Bloomberg.Dados de silício

Armado com os dados, startups E outros construindo novos produtos de IA poderão entender melhor seus custos potenciais, para que possam definir seus serviços a um preço lucrativo. E aqueles que constroem uma nova infraestrutura de IA poderão definir uma referência para sua própria receita. Mas, igualmente importante, na opinião de Li, é que novas fontes de capital podem se envolver no espaço da IA.

Bancospor exemplo, são um fornecedor de capital relativamente barato, Notas Li. Mas como eles têm controles rígidos de risco e não houve dados de preços de GPU suficientes, eles não estiveram em posição de financiar projetos de IA. Li espera que o SDH100RT permita que os bancos emprestem a um conjunto mais amplo de jogadores no setor de IA e permita que eles encontrem produtos financeiros que reduzam o risco para aqueles que já estão nela.

Insights e esquisitices dos dados

Embora seja lançado hoje, os dados do silício acompanham os preços de aluguel da GPU há meses. Como você poderia esperar, ter uma janela para o preço do treinamento de IA revelou algumas idéias interessantes. O que se segue são algumas coisas que Li descobriu. (Ela está publicando essas análises regularmente desde setembro passado.)

Regras da Costa Leste! Drool da costa oeste: Os preços de aluguel de H100 são muito estáveis ​​nos Estados Unidos, mas há um vantagem persistente da costa leste. Em março, você pode obter uma hora de trabalho em um H100 na costa leste por US $ 5,76. Mas essa mesma hora custaria US $ 6,80 na costa oeste.

Os chips hiperescaladores ajudam: Amazon Incursão de serviço da internet em projetando suas próprias fichas e servidores tem preços reduzidos Para os clientes da gigante da nuvem. De acordo com os dados de silício, a cerca de US $ 4,80 por hora, o preço unitário médio por GPU para o trens de trens2 da AWS é menor que a metade do preço para usar um NVIDIA H100. Seus chips de primeira geração Inferentia e Trainium chegam a menos de US $ 1,50 por hora, o que é menos da metade do preço do cavalo de trabalho de inferência de hoje, o Nvidia A100. No entanto, acredita-se que os H100 sejam a única opção para o treinamento de modelos de ponta, para que seu desempenho possa justificar o arranhão further.

Efeito modesto de Deepseek: O choque Deepseek de janeiro pouco fez para o preço do aluguel. Você pode se lembrar que o desempenho e Relatou treinamento de baixo custo Dos LLMs de Deepseek, com sede em Hangzhou, pegou muitos de surpresa e enviaram ações relacionadas à IA para um pedaço de pérola. “Quando a Deepseek saiu, o mercado (de ações) ficou louco”, diz Li. “Mas o preço à vista não mudou muito.” Na estréia de Deepseek, o preço do H100 subiu levemente para US $ 2,50 por hora, mas isso ainda estava entre US $ 2,40 por hora, para US $ 2,60 por hora, variam em relação aos meses anteriores. Em seguida, ele deslizou para US $ 2,30 por hora durante grande parte de fevereiro, antes de começar a subir novamente.

Intel é mais elegante do que AMD: As GPUs estão sempre sob o controle das CPUs, geralmente na proporção de 4: 1. E o mercado para esse ponto da CPU é contestado entre a Intel e a AMD. (Nvidia também faz sua própria CPU, chamada Graça.) Mas parece que os clientes estão dispostos a pagar um pouco de um prêmio por sistemas movidos a Intel. Para os sistemas da NVIDIA A100, aqueles com Intel CPUs buscaram um preço 40 % maior do que aqueles com AMD processadores. Para o H100, o efeito dependia da tecnologia de interconexão envolvida. Se um computador usou SXM ou PCIE como hyperlinks, a Intel buscou um preço mais alto. Mas para aqueles que usam o esquema de interconexão NVLink da NVIDIA, a AMD recebeu o prêmio.

A comoditização da IA

Você pode realmente ferver o preço da IA ​​para um único número? Afinal, existem muitos fatores envolvidos no desempenho de um computador e em sua utilidade em um cliente específico. Por exemplo, um cliente pode estar treinando com dados que não podem, por razões legais, atravessar fronteiras internacionais. Então, por que eles deveriam se preocupar com o preço em outro país? E, como qualquer pessoa que tenha examinado os principais resultados de referência do aprendizado de máquina, Mlperf, Pode ver que o desempenho da mesma GPU da NVIDIA pode variar amplamente, dependendo do sistema em que está e do software program que está em execução.

Segundo LI, a visão de commodities pode funcionar. O índice da Silicon Knowledge normaliza todas essas diferenças e fornece pesos diferentes para coisas como o quanto um information middle participa do mercado de aluguel, sua localização, suas fontes de dados e muitas outras coisas.

Talvez o maior endosso da idéia de IA como uma mercadoria seja de CEO da NVIDIA Jensen Huang ele mesmo. No grande evento de desenvolvedor da empresa, GTCele pressionou por pensar em information facilities Como “fábricas de IA” cuja saída seria medida em quantos tokens, a menor unidade de informação que um LLM usa, eles podem produzir por segundo.