De acordo com estimativas recentes, Espera -se que a IA generativa se torne Um mercado de US $ 1,3 trilhão até 2032, à medida que mais e mais empresas estão começando a adotar a IA e Desenvolvimento de software program personalizado LLM. No entanto, existem certos desafios técnicos que criam obstáculos significativos da implementação de IA/LLM. Construir aplicativos rápidos, robustos e poderosos orientados a IA é uma tarefa complexa, especialmente se você não possui experiência anterior.
Neste artigo, nos concentraremos nos desafios comuns na adoção da IA, discutiremos o lado técnico da pergunta e forneceremos dicas sobre como superar esses problemas para criar soluções alimentadas por IA personalizadas.
Desafios comuns de adoção de IA
Vamos nos concentrar principalmente na abordagem do invólucro, o que implica em camadas de recursos de IA no topo dos sistemas existentes, em vez de integrar profundamente a IA no núcleo. Nesses casos, a maioria dos produtos e recursos de IA são construído como invólucros sobre modelos existentes, como chatgptchamado pelo aplicativo através da API do Openai. Sua incrível simplicidade é a característica mais atraente sobre essa abordagem, tornando -a muito standard entre as empresas que visam a transformação da IA. Você simplesmente explica o seu problema e a solução desejada na linguagem pure e obtém o resultado: linguagem pure, linguagem pure. Mas essa abordagem tem várias desvantagens. Eis por que você deve considerar diferentes estratégias e maneiras de implementá -las com eficiência.
const Response = Aguarda getCompletionFromgpt (immediate)
Falta de diferenciação
Pode ser um desafio diferenciar um produto no domínio em rápida evolução do software program movido a IA. Por exemplo, se uma pessoa criar uma ferramenta de controle de qualidade com um documento PDF enviado, muitas outras em breve farão o mesmo. Eventualmente, até OpenAI pode integrar esse recurso diretamente no bate -papo (como eles já fizeram). Esses produtos dependem de técnicas simples usando modelos existentes que qualquer pessoa pode replicar rapidamente. Se a proposta de valor exclusiva do seu produto depende da tecnologia avançada de IA que pode ser facilmente copiada, você estará em uma posição arriscada.
Altos custos
Os grandes modelos de linguagem (LLMs) são versáteis, mas caros. Eles foram projetados para lidar com uma ampla gama de tarefas, mas essa versatilidade os torna grandes e complexos, aumentando os custos operacionais. Vamos estimar: suponha que os usuários enviem 10 documentos por dia, cada um com 10 páginas (500 palavras por página em média) e o resumo é de 1 página. O uso de modelos GPT-4 32K para resumir esse conteúdo custaria cerca de US $ 143,64 por usuário por mês. Isso inclui US $ 119,70 para processamento de tokens de entrada e US $ 23,94 para gerar tokens de saída, com preços de token em US $ 0,06 por 1.000 tokens de entrada e US $ 0,12 por 1.000 tokens de saída. A maioria dos casos não exige um modelo treinado em toda a Web, pois essa solução é, normalmente, ineficiente e cara.
Questões de desempenho
Os LLMs são lentos em comparação com algoritmos regulares. O ponto é que eles exigem recursos computacionais maciços para processar e gerar texto, envolvendo bilhões de parâmetros e arquiteturas complexas baseadas em transformador.
Embora o desempenho do modelo mais lento possa ser aceitável para alguns aplicativos, como o bate -papo, onde as respostas são lidas palavras por palavra, é problemático para processos automatizados em que a saída completa é necessária antes da próxima etapa. Obter uma resposta de um LLM pode levar alguns minutos, o que não é viável para muitas aplicações.
Personalização limitada
Os LLMs oferecem personalização limitada. O ajuste fino pode ajudar, mas geralmente é insuficiente, caro e demorado. Por exemplo, o ajuste fino de um modelo que propõe planos de tratamento para pacientes com base em dados pode resultar em resultados lentos, caros e de baixa qualidade.
A solução – construa sua própria cadeia de ferramentas
Se você enfrentar os problemas mencionados acima, provavelmente precisará de uma abordagem diferente. Em vez de confiar apenas em modelos pré-treinados, crie sua própria cadeia de ferramentas combinando um LLM ajustado com outras tecnologias e um modelo personalizado. Isso não é tão difícil quanto parece – desenvolvedores moderadamente experientes agora podem treinar seus próprios modelos.
Benefícios de uma cadeia de ferramentas personalizadas:
- Modelos especializados construídos para tarefas específicas são mais rápido e mais confiável
- Modelos personalizados adaptados aos seus casos de uso são mais barato para correr
- Exclusivo A tecnologia dificulta a copia do seu produto para os concorrentes
A maioria dos produtos AI avançada usa uma abordagem semelhante, dividindo soluções em muitos modelos pequenos, cada um capaz de fazer algo específico. Um modelo descreve os contornos de uma imagem, outro reconhece objetos, um terceiro classifica os itens e um quarto estimativa de valores, entre outras tarefas. Esses pequenos modelos são integrados ao código personalizado para criar uma solução abrangente. Essencialmente, qualquer modelo de IA inteligente é uma cadeia de pequenas, cada uma executando tarefas especializadas que contribuem para a funcionalidade geral.
Por exemplo, os carros autônomos não usam um tremendous modelo gigante que leva toda a entrada e fornece uma solução. Em vez disso, eles usam uma cadeia de ferramentas de modelos especializados em vez de um cérebro gigante da IA. Esses modelos lidam com tarefas como visão computacional, tomada de decisão preditiva e processamento de linguagem pure, combinada com código e lógica padrão.
Um exemplo prático
Para ilustrar a abordagem modular em um contexto diferente, considere a tarefa do processamento automatizado de documentos. Suponha que queremos criar um sistema que possa extrair informações relevantes dos documentos (por exemplo, cada documento pode conter várias informações: faturas, contratos, recebimentos).
Recuoração passo a passo:
- Classificação de entrada. Um modelo para determinar o tipo de documento/bloco. Com base na classificação, a entrada é roteada para diferentes módulos de processamento.
- Solucionadores específicos:
- Digite A entrada (por exemplo, faturas): Os solucionadores regulares lidam com tarefas diretas como a leitura de texto usando OCR (reconhecimento de caracteres ópticos), fórmulas, and many others.
- Entrada do tipo B (por exemplo, contratos): Solvers baseados em IA para tarefas mais complexas, como entender a linguagem authorized e extrair cláusulas-chave.
- Entrada do tipo C (por exemplo, recibos): Solveceres de serviço de terceiros para tarefas especializadas, como conversão de moeda e cálculo de impostos.
- Agregação. As saídas desses solucionadores especializados são agregados, garantindo que todas as informações necessárias sejam coletadas.
- Integração LLM. Finalmente, um LLM pode ser usado para resumir e polir os dados agregados, fornecendo uma resposta coerente e abrangente.
- Saída. O sistema gera as informações processadas e refinadas ao usuário, seu código ou algum serviço.
Essa abordagem modular, conforme mostrada no fluxograma, garante que cada componente do problema seja tratado pelo método mais apropriado e eficiente. Ele combina programação common, modelos especializados de IA e serviços de terceiros para fornecer uma solução robusta, rápida e econômica. Além disso, ao construir esse aplicativo, você ainda pode utilizar ferramentas de IA de terceiros. No entanto, nessa metodologia, essas ferramentas fazem menos processamento, pois podem ser personalizadas para lidar com tarefas distintas. Portanto, eles não são apenas mais rápidos, mas também mais econômicos em comparação com o manuseio de toda a carga de trabalho.
Como começar
Comece com uma solução não-AI
Comece explorando o espaço do problema usando práticas normais de programação. Identifique áreas onde são necessários modelos especializados. Evite a tentação de resolver tudo com uma supermodelo, que é complexa e ineficiente.
Teste a viabilidade com ai
Use LLMs de uso geral e serviços de terceiros para testar a viabilidade da sua solução. Se funcionar, é um ótimo sinal. Mas é provável que essa solução seja uma escolha de curto prazo. Você precisará continuar seu desenvolvimento assim que iniciar uma escala significativa.
Desenvolver camada por camada
Divida o problema em peças gerenciáveis. Por exemplo, tente resolver problemas com algoritmos padrão. Somente quando atingimos os limites da codificação regular, introduzimos modelos de IA para algumas tarefas, como a detecção de objetos.
Aproveite as ferramentas existentes
Use ferramentas como o Azure AI Imaginative and prescient para treinar modelos para tarefas comuns. Esses serviços estão no mercado há muitos anos e são bastante fáceis de adotar.
Melhoria contínua
Possuir seus modelos permite uma melhoria constante. Quando novos dados não são bem processados, o suggestions do usuário ajuda a refinar os modelos diariamente, garantindo que você permaneça competitivo e atenda a altos padrões e tendências de mercado. Esse processo iterativo permite o aprimoramento contínuo do desempenho do modelo. Ao avaliar e ajustar constantemente, você pode ajustar seus modelos para atender melhor às necessidades do seu aplicativo
Conclusões
Os modelos generativos de IA oferecem grandes oportunidades para o desenvolvimento de software program. No entanto, a abordagem tradicional do invólucro a esses modelos possui inúmeras desvantagens sólidas, como a falta de diferenciação, altos custos, problemas de desempenho e oportunidades de personalização limitadas. Para evitar esses problemas, recomendamos que você construa sua própria cadeia de ferramentas de IA.
Para construir essa cadeia, servindo como base para um produto de IA bem -sucedido, reduce o uso da IA nos estágios iniciais. Identifique problemas específicos que a codificação regular não pode resolver bem e use os modelos de IA seletivamente. Essa abordagem resulta em soluções rápidas, confiáveis e econômicas. Ao possuir seus modelos, você mantém o controle sobre a solução e desbloqueia o caminho para sua melhoria contínua, garantindo que seu produto permaneça único e valioso.
O submit Adotando a IA em produtos de software program: desafios e soluções comuns para eles apareceu primeiro Datafloq.