AWS re:Invent é uma das minhas feiras favoritas. É uma das maiores conferências de tecnologia do ano e é uma oportunidade para ter centenas de conversas com clientes e potenciais clientes, ouvir as suas prioridades e desafios, esperanças, e dar-lhes uma sacola Cloudera ou um par de óculos de sol laranja.
O que se segue é uma coleção de algumas coisas que aprendi e observei durante minha semana em Las Vegas.
É tudo uma questão de IA
Nos últimos dois anos, a IA disparou para o topo do “Pico das Expectativas Inflacionadas” no Hype Cycle do Gartner e, não surpreendentemente, muitas das sessões, demonstrações e conversas na conferência se concentraram em alavancar a IA.
Cloudera fez parceria com NVIDIA em duas sessões onde compartilhamos nosso serviço de Inferência de IA, que usa NVIDIA NIM microsserviços para acelerar o desenvolvimento e implantação de modelos de IA e apoiar o escalonamento desses modelos. Também compartilhamos nossos aceleradores para projetos de aprendizado de máquina, ou AMPs, que são modelos para modelos de aprendizado de máquina/IA que os clientes podem implantar com o clique de um botão e começar a personalizar, reduzindo o tempo necessário para colocar os modelos em produção.
Por fim, organizamos um workshop prático para orientar os participantes em um fluxo de trabalho de geração aumentada de recuperação (RAG) no Cloudera AI para mostrar como é fácil implantar modelos contextualizados com base em dados organizacionais..
Nosso objetivo é tornar mais fácil, rápido e seguro para os clientes começarem a usar IA e verem o valor de seus projetos, e essa foi uma mensagem que ressoou em praticamente todos que passaram por nossas sessões e nosso estande.
A IA sustentável será uma competência essencial para as empresas
A sustentabilidade foi um tema chave durante toda a conferência. À medida que as empresas pensam sobre onde e como implementar cargas de trabalho de IA, devem considerar os impactos financeiros e ambientais dessas decisões. A Cloudera tem orgulho da parceria com a AWS para ajudar clientes mútuos a implantar soluções sustentáveis de IA, aproveitando os processadores AWS Graviton, reduzindo o consumo e os custos e, ao mesmo tempo, melhorando o desempenho das cargas de trabalho de IA.
Você pode ler mais sobre a parceria e suas implicações aqui.
Os dados distribuídos vieram para ficar
O re:Invent é obviamente uma conferência na nuvem, mas a maioria dos clientes com quem conversamos tinha muito mais do que apenas seu ambiente AWS. Os clientes estão lidando com armazenamentos de dados em diversas nuvens e ambientes locais que, por diversos motivos, podem nunca migrar para uma nuvem. No entanto, eles ainda precisam fornecer acesso a uma visão unificada desses dados para muitos casos de uso – desde análises de clientes até eficiência operacional.
Uma consideração importante para os clientes que se encontram neste cenário é simplificar o máximo possível: escolher plataformas que proporcionem uma experiência consistente, aproveitar ferramentas que abranjam vários ambientes e investir em padrões, tecnologias e processos abertos para garantir a máxima flexibilidade agora e no futuro.
Dados confiáveis são essenciais para o sucesso da IA
Os profissionais de dados sabem que, embora o entusiasmo atual esteja em torno da IA, o verdadeiro trabalho de gerar resultados positivos a partir de modelos de IA começa com o fornecimento de acesso seguro e governado a dados confiáveis. Inevitavelmente, a maioria das empresas se verá gerenciando sistemas distribuídos, muitas vezes em diversas nuvens e no native. Experiência de dados compartilhados Cloudera (SDX) continua a ser a única solução que fornece segurança, governança, acessibilidade e observabilidade consistentes em armazenamentos de dados, onde quer que residam, ao mesmo tempo que fornece os mecanismos para processar e analisar esses dados.
Este é um componente crítico do fluxo de trabalho da IA, e se eu fosse apostar em alguns dos motivos pelos quais a IA pode não corresponder ao hype, meu primeiro palpite seria que dados confiáveis são mais difíceis de alcançar do que a maioria das organizações imagina sem um focar em metadados e em uma única fonte de segurança e governança.
Iceberg é o vencedor
Iceberg Apache esteve em toda parte esta semana, com grandes anúncios de AWS, Clouderae outros relacionados ao apoio à transição de nossos clientes para o formato de mesa aberta. Ficou claro durante a maior parte de 2024 que o Iceberg é agora a escolha consensual para o formato de mesa aberta, e o mercado está se unindo em torno dele.
O investimento e o suporte da Cloudera para padrões abertos de metadados, nossa verdadeira arquitetura híbrida e nossa oferta nativa Spark para Iceberg se combinam para nos tornar a solução preferrred Casa do lago de dados Iceberg. Spark é o melhor mecanismo para processamento de dados, incluindo ingestão e transformação, e embora forneçamos muitos mecanismos de execução para cargas de trabalho de dados no Iceberg, também oferecemos suporte ao compartilhamento de dados por meio da especificação do catálogo REST do Iceberg, bem como conexões com mecanismos de terceiros . O resultado é uma verdadeira liberdade de mecanismo e redução de cópias e movimentação de dados.
É um momento emocionante para todos no ecossistema Iceberg. Em conferências anteriores, passei muito mais tempo apresentando e educando os clientes sobre os benefícios do Iceberg e dos formatos de mesa aberta. Ainda havia falta de conscientização em torno do projeto. Este ano, parecia que o formato da mesa dispensava apresentações. Estamos ansiosos para trabalhar com a AWS e outros para construir a melhor casa no lago Iceberg possível.
Flo Rida ainda entendeu
Na re:Invent, fizemos uma parceria com a Mission Cloud para co-hospedar o IGNITE24 para nossos clientes apresentando Flo Rida, e isso não decepcionou. O evento incorporou o espírito colaborativo que outline nosso trabalho com a AWS e nossos parceiros. Durante a palestra para parceiros no AWS re:Invent, a Dra. Ruba Borno, vice-presidente de especialistas globais e parceiros, comparou o ecossistema de parceiros da AWS a uma sinfonia. Tal como uma sinfonia requer diversos instrumentos para criar uma obra-prima harmoniosa, a transformação digital depende da orquestração de conhecimentos e inovação de parceiros em todo o ecossistema.
No IGNITE24, celebramos a importância de trabalharmos juntos para alcançar algo maior do que a soma de suas partes – um princípio que a AWS repetiu em suas mensagens sobre o poder da parceria, objetivos compartilhados e sucesso mútuo.
Eventos como estes lembram-nos que, embora o trabalho de transformar as empresas com dados seja um desafio, é também uma oportunidade para nos conectarmos, colaborarmos e celebrarmos a nossa jornada partilhada.