O número crescente de grandes modelos de linguagem (LLMS) de vários fornecedores – antropia, Google, Meta, Microsoft, Nvidia, OpenAI e muitos outros – deu aos desenvolvedores um rico conjunto de opções, mas também introduziu a complexidade. Cada provedor possui suas próprias nuances e formatos de resposta, tornando -se um desafio alternar modelos ou suportar vários fendes de volta em um aplicativo. Litellm é um projeto de código aberto que aborda essa fragmentação de frente, fornecendo uma interface unificada (e gateway) para chamar mais de 100 APIs LLM usando um formato único e consistente.
Em essência, Litellm atua como um “controle remoto common” para o LLMS, permitindo que os desenvolvedores integrem um conjunto diversificado de modelos como se estivessem chamando a API do OpenAI, independentemente do provedor de modelos subjacentes.
Desde o seu lançamento, Litellm rapidamente ganhou força na comunidade de desenvolvedores de IA. O repositório Github do projeto (mantido por Berriaiuma equipe apoiada pelo Y Combinator) ganhou mais de 20.000 estrelas e 2.600 garfos, refletindo o interesse generalizado. Parte dessa popularidade deriva do mundo actual precisa que ele atenda. As organizações como Netflix, Lemonade e Rocket Cash adotaram a Litellm para fornecer acesso diurno-zero a novos modelos com sobrecarga mínima. Ao padronizar como os desenvolvedores fazem interface com os provedores de LLM, a Litellm promete uma integração mais rápida dos modelos mais recentes e operações mais suaves em um ecossistema LLM em constante evolução.