Participe de nossos boletins diários e semanais para obter as atualizações mais recentes e conteúdo exclusivo sobre a cobertura de IA líder do setor. Saber mais
Salesforce está enfrentando um dos desafios mais persistentes da inteligência synthetic para aplicativos de negócios: a lacuna entre a inteligência bruta de um sistema de IA e sua capacidade de executar consistentemente em ambientes empresariais imprevisíveis – o que a empresa chama de “inteligência irregular. ”
Em um anúncio abrangente de pesquisa hoje, Salesforce AI Analysis revelou vários novos benchmarks, modelos e estruturas projetados para tornar futuros agentes de IA mais inteligentes, confiáveis e versáteis para uso corporativo. As inovações têm como objetivo melhorar as capacidades e a consistência dos sistemas de IA, principalmente quando implantados como agentes autônomos em ambientes de negócios complexos.
“Embora os LLMs possam se destacar em testes padronizados, planejar viagens completas e gerar poesia sofisticada, seu brilho geralmente tropeça quando confrontado com a necessidade de execução de tarefas confiáveis e consistentes em ambientes corporativos dinâmicos e imprevisíveis”, disse a Silvio Savarese, o Salesforce da Salescece e a Chefe de Chefe de Pesquisa de IA, durante uma imprensa da imprensa, durante uma imprensa, durante uma pesquisa da Silvio Savarese.
A iniciativa representa o esforço do Salesforce em direção ao que os Savarese chamam “Inteligência geral da empresa”(EGI) – AI projetada especificamente para a complexidade comercial, em vez da busca mais teórica da inteligência geral synthetic (AGI).
“Definimos o EGI como agentes de IA criados para fins específicos para negócios otimizados não apenas por capacidade, mas também para consistência”, explicou Savarese. “Embora a AGI possa evocar imagens de máquinas superinteligentes que superam a inteligência humana, as empresas não estão esperando por esse futuro distante e ilusório. Eles estão aplicando esses conceitos fundamentais agora para resolver os desafios do mundo actual em escala”.
Como o Salesforce está medindo e corrigindo o problema de inconsistência da IA em configurações corporativas
Um foco central da pesquisa é quantificar e abordar a inconsistência da IA no desempenho. Salesforce apresentou o Conjunto de dados simplesuma referência pública com 225 perguntas diretas de raciocínio projetadas para medir como os recursos de um sistema de IA realmente são realmente.
“A IA de hoje está irregular, então precisamos trabalhar nisso. Mas como podemos trabalhar em algo sem medi -lo primeiro? É exatamente isso que é essa simples referência”, explicou Shelby Heinecke, gerente sênior de pesquisa do Salesforce, durante a conferência de imprensa.
Para aplicativos corporativos, essa inconsistência não é apenas uma preocupação acadêmica. Um único passo em falso de um agente de IA pode interromper as operações, corroer a confiança do cliente ou infligir danos financeiros substanciais.
“Para as empresas, a IA não é um passatempo informal; é uma ferramenta de missão crítica que requer previsibilidade inabalável”, observou Savarese em seu comentário.
Dentro Crmarena: o campo de teste digital do Salesforce para agentes da IA corporativa
Talvez a inovação mais significativa seja Crmarenauma nova estrutura de benchmarking projetada para simular cenários realistas de gerenciamento de relacionamento com o cliente. Ele permite testes abrangentes de agentes de IA em contextos profissionais, abordando a lacuna entre os benchmarks acadêmicos e os requisitos de negócios do mundo actual.
“Reconhecendo que os modelos atuais de IA geralmente ficam aquém da refletindo as intrincadas demandas de ambientes corporativos, introduzimos o CRMARENA: uma nova estrutura de benchmarking meticulosamente projetada para simular cenários de CRM realistas e profissionalmente fundamentados”, disse Savarese.
A estrutura avalia o desempenho do agente em três personas principais: agentes de serviço, analistas e gerentes. Os testes antecipados revelaram que, mesmo com o impulso guiado, os principais agentes têm sucesso menos de 65% do tempo na chamada de função para os casos de uso dessas personas.
“A area do CRM é essencialmente uma ferramenta que foi introduzida internamente para melhorar os agentes”, explicou Savarese. “Isso nos permite testar esses agentes, entender quando estão falhando e depois usamos essas lições que aprendemos com esses casos de falha para melhorar nossos agentes”.
Novos modelos de incorporação que entendem o contexto corporativo melhor do que nunca
Entre as inovações técnicas anunciadas, o Salesforce destacou SFR-Embetingdingum novo modelo para uma compreensão contextual mais profunda que lidera o texto massivo que incorpore o benchmark (MTEB) em 56 conjuntos de dados.
“A incorporação da SFR não é apenas pesquisas. Está chegando à nuvem de dados muito, muito em breve”, observou Heinecke.
Uma versão especializada, SFR-EBLEDDING-Codetambém foi introduzido para desenvolvedores, permitindo a pesquisa de código de alta qualidade e simplificar o desenvolvimento. De acordo com o Salesforce, a versão de parâmetros 7B lidera o Código Informações de Recuperação (COIR) Benchmarkenquanto modelos menores (400m, 2b) oferecem alternativas eficientes e econômicas.
Por que os modelos de IA menores e focados em ação podem superar modelos de idiomas maiores para tarefas de negócios
O Salesforce também anunciou Xlam V2 (modelo de ação grande)uma família de modelos projetada especificamente para prever ações em vez de apenas gerar texto. Esses modelos começam em apenas 1 bilhão de parâmetros – uma fração do tamanho de muitos modelos de linguagem líder.
“O que é especial nos nossos modelos XLAM é que, se você olhar para os tamanhos dos nossos modelos, temos um modelo 1B, até um modelo de 70b. Esse modelo 1B, por exemplo, é uma fração do tamanho de muitos dos grandes modelos de idiomas de hoje”, explicou Heinecke. “Este pequeno modelo inclui muito poder para tomar a capacidade de tomar a próxima ação”.
Ao contrário dos modelos de linguagem padrão, esses modelos de ação são treinados especificamente para prever e executar as próximas etapas em uma sequência de tarefas, tornando -as particularmente valiosas para agentes autônomos que precisam interagir com os sistemas corporativos.
“Os grandes modelos de ação são LLMs sob o capô, e a maneira como os construímos é que pegamos um LLM e ajustamos o que chamamos de trajetória de ação”, acrescentou Heinecke.
Segurança da IA corporativa: como a camada de confiança do Salesforce estabelece os corrimãos para uso comercial
Para abordar as preocupações corporativas sobre a segurança e a confiabilidade da IA, o Salesforce introduziu Sfr-guarduma família de modelos treinados em dados publicamente disponíveis e dados internos especializados em CRM. Esses modelos fortalecem a camada de confiança da empresa, que fornece guardrails para o comportamento do agente de IA.
“Os guardrails da Agentforce estabelecem limites claros para o comportamento do agente com base nas necessidades, políticas e padrões de negócios, garantindo que os agentes atuem dentro dos limites predefinidos”, afirmou a empresa em seu anúncio.
A empresa também lançou ContextualJudgeBenchum novo benchmark para avaliar modelos de juízes baseados em LLM em contexto-testando mais de 2.000 pares de respostas desafiadores para precisão, concisão, fidelidade e recusa apropriada em responder.
Olhando além do texto, o Salesforce revelou Tacouma família de modelos de ação multimodal projetada para enfrentar problemas complexos e de várias etapas por meio de cadeias de pensamento e ação (COTA). Essa abordagem permite que a IA interprete e responda a consultas complexas envolvendo vários tipos de mídia, com o Salesforce reivindicando até 20% de melhoria no desafio da referência MMVET.
Co-innovação em ação: como o suggestions do cliente molda o roteiro corporativo da Salesforce
Itai AsseoDiretor Sênior de Incubação e Estratégia da Marca da IA Analysis, enfatizou a importância da co-innovação de clientes no desenvolvimento de soluções de IA prontas para empresas.
“Quando estamos conversando com os clientes, um dos principais pontos problemáticos que temos é que, ao lidar com dados corporativos, há uma tolerância muito baixa para realmente fornecer respostas que não são precisas e que não são relevantes”, explicou Asseo. “Fizemos muito progresso, seja com motores de raciocínio, com técnicas de pano e outros métodos em torno do LLMS”.
ASSEO citou exemplos de incubação de clientes, produzindo melhorias significativas no desempenho da IA: “Quando aplicamos o mecanismo de raciocínio do ATLAS, incluindo algumas técnicas avançadas para a geração aumentada de recuperação, juntamente com nossos raciocínios e metodologia de agitação.
O caminho para a Inteligência Geral da Enterprise: o que vem a seguir para o Salesforce AI
A pesquisa de pesquisa do Salesforce ocorre em um momento crítico na adoção da IA corporativa, à medida que as empresas buscam cada vez mais sistemas de IA que combinam recursos avançados com desempenho confiável.
Enquanto toda a indústria de tecnologia busca modelos cada vez maiores com impressionantes capacidades brutas, o foco do Salesforce na lacuna de consistência destaca uma abordagem mais sutil ao desenvolvimento da IA-uma que prioriza os requisitos de negócios do mundo actual em relação aos benchmarks acadêmicos.
As tecnologias anunciadas na quinta -feira começarão a ser lançadas nos próximos meses, com SFR-Embetingding Em seguida, a Knowledge Cloud primeiro, enquanto outras inovações impulsionarão as versões futuras do Agentforce.
Como Savarese observou na conferência de imprensa, “não se trata de substituir os seres humanos. Trata -se de estar no comando”. Na corrida para o domínio da IA corporativa, o Salesforce está apostando que a consistência e a confiabilidade – não apenas a inteligência bruta – definirá em última análise os vencedores da revolução da IA de negócios.
