Quer insights mais inteligentes em sua caixa de entrada? Inscreva -se para que nossos boletins semanais obtenham apenas o que importa para a IA, dados e líderes de segurança corporativos. Inscreva -se agora
Dados brilhantesa empresa de raspagem na internet israelense que derrotou Meta e Elon Musk’s X No Tribunal Federal, apresentou uma suíte abrangente de infraestrutura de IA na quarta-feira, projetada para oferecer aos sistemas de inteligência synthetic acesso sem restrições a dados da Net em tempo real-um recurso que a empresa argumenta que grandes plataformas de tecnologia estão tentando monopolizar.
O anúncio de Pesquisa profundaAssim, Navegador.aie os protocolos aprimorados de coleta de dados representa uma expansão dramática para a empresa de uma década, que se transformou de um serviço especializado em raspagem na Net no que CEO ou Lenchner chama de “uma camada de infraestrutura exclusiva para empresas de IA”. A medida ocorre à medida que as empresas de inteligência synthetic lutam cada vez mais para acessar as informações atuais da Net necessárias para alimentar chatbots, agentes autônomos e outros aplicativos de IA.
“A inteligência do LLMS de hoje não é mais seu fator limitante; o acesso é”, disse Lenchner em entrevista exclusiva ao VentureBeat. “Passamos a última década lutando pelo acesso aberto a dados da internet pública, e essas novas ofertas nos levam ao próximo capítulo de nossa jornada, uma caracterizada por dados verdadeiramente acessíveis e o aumento subsequente de agentes contextuais”.
O lançamento segue dados brilhantes vitórias legais de alto nível em 2024, quando juízes federais descartaram ações judiciais de ambos Meta e X alegando que a empresa raspou ilegalmente suas plataformas. Essas decisões estabeleceram precedentes legais cruciais definindo o que constitui “dados públicos”Na Web – informações que podem ser visualizadas sem fazer login e, portanto, podem ser legalmente coletadas e usadas.
Os processos judiciais revelaram que ambos Meta e X tinha sido Dados brilhantes Os clientes, mesmo processando a empresa, destacando a postura contraditória que muitos gigantes da tecnologia adotaram para raspar an internet. As decisões têm implicações mais amplas para a indústria de IA, que depende muito de dados da Net para treinar e operar modelos de idiomas.
“Foi revelado no tribunal que os dois eram um cliente de dados brilhantes, porque todos precisam de dados, todos, especialmente aqueles que estão construindo modelos”, explicou Lenchner. “Somos a única empresa que tem os recursos financeiros e eu diria a coragem de fazer isso”.
Juiz William Alsupque presidiu o caso X, escreveu que dar às empresas de mídia social “livres para decidir, com base em qualquer base, que podem coletar e usar os dados”, correm o risco de criar “monopólios de informações que dividiriam o interesse público”. A decisão estabeleceu que os dados visíveis sem credenciais de login constituem informações públicas que podem ser legalmente raspadas.
Dados brilhantes haviam apresentado anteriormente um Contra -traje contra xalegando que a plataforma violou as leis antitruste, tentando criar um monopólio de dados para beneficiar a empresa de IA de Musk, Xai. No entanto, esse caso já foi resolvido. “Embora os termos confidenciais, dados brilhantes nunca tenham recuado de sua crença basic de que os dados públicos devem estar disponíveis ao público. Consistente com essa crença, temos o prazer de relatar que dados brilhantes continuarão a fornecer os mesmos serviços líderes do setor que sempre possuem e que nossos clientes esperam”, disse Lenchner.
Pesquisa profunda e navegador.
Os novos produtos da empresa abordam o que a Lenchner identifica como os três principais requisitos para sistemas de IA: algoritmos, potência de computação e acesso a dados. Enquanto Dados brilhantes Não desenvolve algoritmos de IA ou fornece recursos de computação, ele visa se tornar a solução definitiva para o terceiro requisito.
Pesquisa profunda Funciona como um mecanismo de pesquisa de linguagem pure projetado para responder a perguntas de negócios complexas e de várias camadas em tempo actual. Ao contrário dos mecanismos de pesquisa de uso geral ou da AI Chatbots que fornecem resumos, a pesquisa profunda é especializada em resultados abrangentes para consultas começando com “Encontre tudo”. Por exemplo, os usuários podem pedir “todas as empresas de navegação que passaram pelos canais do Panamá e Suez em 2023, cujas receitas de Q3 caíram mais de 2 %”.
O sistema se baseia no enorme arquivo da Net da Vibrant Knowledge, que atualmente contém mais de 200 bilhões de páginas HTML e adiciona 15 bilhões de mensalmente. No próximo ano, o arquivo deve exceder 500 bilhões de páginas. “Não são apenas as páginas da Net aleatórias, é na verdade o que o mundo se importa, porque nossos 20.000 clientes representam bilhões de usuários da Web”, observou Lenchner.
Navegador.ai Representa o que a empresa chama de “o primeiro navegador inbloqueável e nativo do setor”. Projetado especificamente para agentes autônomos de IA, o serviço baseado em nuvem imita o comportamento humano para acessar websites sem acionar sistemas de detecção de bot. Ele suporta comandos de linguagem pure e pode executar interações da Net complexas, como reservar voos ou fazer reservas de restaurantes.
A infraestrutura do navegador já processa mais de 150 milhões de ações da Net diariamente, de acordo com a empresa. “Quase todos eles são clientes”, disse Lenchner sobre as empresas de agentes de IA que levantaram financiamento significativo. “Porque o que descobrimos, e eles descobriram, é que resolvemos esse problema de inserir um web site sem ser bloqueado e executar ações da Net no web site”.
Servidores MCP (Mannequin Context Protocol) fornece uma camada de controle de baixa latência, permitindo que os agentes de IA pesquisem, rastejam e extraiam dados ao vivo em tempo actual. O protocolo permite que os desenvolvedores construam sistemas de IA que possam atuar nas informações atuais, em vez de depender apenas dos dados de treinamento.
Portfólio de patentes e rede de proxy Crie um fosso competitivo contra bloqueio
A vantagem competitiva da Vibrant Knowledge deriva do que Lenchner descreve como uma “obsessão” ao superar mecanismos de bloqueio de websites. A empresa possui mais de 5.500 reivindicações de patentes em sua tecnologia e opera a maior rede de proxy do mundo, com mais de 150 milhões de endereços IP em 195 países.
“Temos uma boa olhada na web”, explicou Lenchner. “Há muito tempo, estamos mapeando a Web e há muito tempo, também estamos arquivando grandes pedaços da Web”.
A abordagem da empresa envolve técnicas sofisticadas para imitar o comportamento humano, usando dispositivos reais, endereços IP e impressões digitais do navegador, em vez de scripts automatizados simples. Isso torna a detecção e o bloqueio extremamente difíceis para os websites.
“A única maneira de nos bloquear, praticamente, é colocar os dados por trás do login, então nem tentaremos”, disse Lenchner. “Às vezes, há uma nova lógica de bloqueio que não resolveremos imediatamente. Levará nossa equipe de pesquisa 12 horas, três dias como foi o mais, e nós o desbloquearemos”.
A receita supera US $ 100 milhões, pois a demanda de IA explode após o Chatgpt
Enquanto Dados brilhantes Permanece em explicit por uma empresa de non-public fairness, Lenchner confirmou com a VentureBeat que a receita recorrente anual da empresa superou US $ 100 milhões há vários anos. A empresa experimentou um crescimento explosivo desde o lançamento do ChatGPT no last de 2022, enquanto as empresas de IA se esforçavam para acessar dados de treinamento e informações em tempo actual.
“A partir de março de 2023, que é praticamente quando o GPT-3 mudou o mundo, a IA ou o que chamamos de dados para a IA, o caso de uso absolutamente explodiu para nós como empresa”, disse Lenchner. “Todo o resto também está crescendo, porque todos precisam de mais dados, ponto last. Mas esse caso de uso é como nada que vimos antes.”
A empresa atende a mais de 20.000 empresas, incluindo empresas da Fortune 500 e os principais laboratórios da IA. Os clientes tradicionais incluem plataformas de comércio eletrônico que rastreiam preços dos concorrentes, empresas de serviços financeiros que buscam inteligência de mercado e empresas que conduzem pesquisas de negócios.
A conformidade com o GDPR e as práticas éticas se diferenciam dos concorrentes
Dados brilhantes investiu pesadamente em infraestrutura de conformidade para abordar preocupações de privacidade em torno da coleta de dados. A empresa segue GDPR europeu e California CCPA Regulamentos, notificando automaticamente indivíduos quando suas informações pessoais são coletadas de fontes públicas e fornecendo opções de exclusão.
“O regulamento e a legislação são claros desde que o GDPR europeu e pelo menos os regulamentos da Califórnia e da CCPA vieram jogar”, explicou Lenchner. “Se coletamos seu endereço de e -mail, por exemplo, enviaremos automaticamente um e -mail dizendo: ‘Ei, é isso que somos. Coletamos suas informações pessoais do domínio público. Aqui está um botão enorme que você pode clicar se deseja revisá -lo e obviamente pode pedir para excluí -lo.'”
A empresa mantém uma grande equipe de conformidade e uma extensa documentação de suas práticas, o que se mostrou valioso durante os processos judiciais. “Nós, empresas, nos amamos especialmente porque temos nosso estande ético que foi examinado nos tribunais dos EUA duas vezes”, disse Lenchner.
As guerras de acesso à internet se intensificam como gigantes da tecnologia buscam monopólios de dados
A batalha pelo acesso a dados da Net reflete tensões mais amplas no setor de IA sobre controle de informações e vantagem competitiva. À medida que os sistemas de IA se tornam mais sofisticados, o acesso aos dados atuais e abrangentes da Net se torna cada vez mais valioso – e controversa.
Lenchner prevê que a Net se tornará “mais fechada” ao longo do tempo, semelhante à maneira como o Google mantém o acesso exclusivo aos seus recursos de rastreamento da Net, enquanto outros devem usar serviços alternativos. “Alguns gigantes da tecnologia terão acesso gratuito a todos os websites com seus agentes”, disse ele. “O resto precisará usar nossa infraestrutura ou a infraestrutura de outra pessoa”.
A empresa também está observando novas tendências, incluindo empresas que eliminam os chatbots da IA para fins de advertising and marketing e o surgimento de novos protocolos como o MCP que permitem que os agentes da IA interajam com os serviços da Net com mais eficiência.
“Todos esses caras que estão consumindo grandes quantidades de dados, e todos nós os estamos usando, tudo está indo para a construção do cérebro dos robôs”, disse Lenchner. “Tudo bem que você tenha um chatbot que está conversando com um humano, porque é isso que é o que um robô fará.”
Robotic Brains and Agent Economic system Drive Subsequent Fase of Development
A transformação da Vibrant Knowledge do serviço de raspagem na internet para o provedor de infraestrutura de IA reflete as necessidades em rápida evolução da indústria de inteligência synthetic. À medida que as empresas se apressam em implantar agentes de IA e sistemas autônomos, o acesso a dados da Net em tempo actual se torna tão essential quanto o poder de computação e a sofisticação algorítmica.
Os precedentes legais estabelecidos através das vitórias judiciais da Vibrant Knowledge podem ser tão significativas quanto suas inovações técnicas, potencialmente moldando como toda a indústria de IA acessa e usa informações da Net. Com as principais plataformas de tecnologia restringindo cada vez mais o acesso de dados enquanto desenvolvem simultaneamente seus próprios sistemas de IA, fornecedores de infraestrutura independentes como dados brilhantes podem se tornar essenciais para manter o equilíbrio competitivo no ecossistema da IA.
“Somos uma empresa de infraestrutura”, enfatizou Lenchner. “Somos engenheiros muito talentosos que dificilmente vão a lugar nenhum, apenas sentar com nossos computadores e escrever código. Estamos fazendo bem. Não temos intenções de fazer qualquer outra coisa.”
O Pesquisa profunda A versão beta é lançada na terça -feira para clientes comerciais, com acesso público em geral disponível através de uma lista de espera. Navegador.ai e Servidores MCP Já estão disponíveis para os clientes corporativos através da plataforma existente da Vibrant Knowledge.
