A China Telecom, uma operadora estatal, desenvolveu dois LLMs inteiramente treinados em processadores produzidos internamente.
Este avanço demonstra o progresso da China rumo à independência dos chips, particularmente no campo da IA.
O AI Institute da empresa anunciou que seu modelo de código aberto, TeleChat2-115B, junto com outro modelo não divulgado, foi treinado em dezenas de milhares de chips chineses. Isto é especialmente significativo dadas as crescentes restrições dos EUA ao acesso da China a chips de ponta, como os mais recentes processadores de IA da Nvidia.
De acordo com o AI Institute, esta conquista reflete a completa autossuficiência da China no treinamento de seus próprios LLMs, que alimentam ferramentas como o ChatGPT da OpenAI. Eles também consideram isso como o início de um novo capítulo na busca do país pela inovação e independência da tecnologia de IA.
A China Telecom revelou que o modelo sem nome apresenta um trilhão de parâmetros. Em termos leigos, parâmetros são as variáveis que um modelo de IA utiliza para aprender durante o treinamento; quanto mais parâmetros o modelo tiver, mais inteligente e poderoso ele será. TeleChat2-115B, o outro modelo, possui mais de 100 bilhões de parâmetros.
As empresas chinesas estão a trabalhar arduamente para se manterem competitivas em IA, especialmente dadas as restrições às exportações de Washington. Embora a China Telecom não tenha especificado exatamente quem forneceu os chips, o Postagem matinal do Sul da China informou que mencionou anteriormente os chips Ascend da Huawei como parte de seu desenvolvimento LLM.
A Huawei, que está sob sanções dos EUA, começou recentemente a testar um novo processador de IA com potenciais clientes na China. As empresas estão buscando alternativas ao {hardware} de ponta da Nvidia, e a Huawei parece estar intervindo para preencher a lacuna.
Segundo fontes, a Huawei já ofereceu amostras do seu processador Ascend 910C às principais empresas chinesas de servidores para testes. O chip também está sendo disponibilizado para empresas chinesas de web, muitas das quais dependem há muito tempo da tecnologia da Nvidia.
Para as empresas locais de IA, os chips Ascend e as soluções de treinamento da Huawei estão emergindo como alternativas viáveis às ofertas da Nvidia. Além da Huawei, a China Telecom oferece processadores da Cambricon, uma start-up chinesa, através do seu serviço State Cloud.
Estas colaborações provavelmente ajudarão a China a minimizar a sua dependência de chips estrangeiros, como as GPUs da Nvidia, que há muito são a opção preferida para treinar modelos de IA.
Com as regulamentações de exportação dos EUA limitando o acesso a GPUs Nvidia avançadas, como A100 e H100, várias empresas chinesas de IA recorreram ao mercado negro. No entanto, muitos optam por usar alternativas de menor potência para garantir que possam continuar a desfrutar do suporte e serviços oficiais da Nvidia.
Veja também: EUA examinam riscos de segurança representados pelas operações da China Telecom e da China Cell
Quer saber mais sobre segurança cibernética e nuvem com os líderes do setor? Confira Segurança cibernética e exposição de nuvem acontecendo em Amsterdã, Califórnia e Londres. Discover outros futuros eventos de tecnologia empresarial e webinars desenvolvidos pela TechForge aqui.