LiteLLM: Gateway de IA Unificado para 100+ Modelos de Lenguaje

LiteLLM: Gateway de IA Unificado para 100+ Modelos de Lenguaje 🔌

#

LiteLLM es una puerta de enlace de IA de código abierto que proporciona una interfaz única y unificada para llamar a más de 100 proveedores de LLM — OpenAI, Anthropic, Gemini, Bedrock, Azure y más. Puedes usarlo como SDK de Python para integración directa o desplegarlo como un servidor proxy (AI Gateway) centralizado.

💡 Explicación en pocas palabras

#

¿Qué es LiteLLM?

• Gateway de IA unificado para 100+ proveedores de LLM
• Interfaz única compatible con OpenAI
• Se puede usar como SDK de Python o como servidor proxy

Ventajas principales:

• Una sola API para múltiples modelos de lenguaje
• Compatible con OpenAI - intercambia proveedores sin reescribir código
• Listo para producción con keys virtuales, tracking de gasto y balanceo de carga
• Latencia muy baja: 8ms P95 a 1k RPS

Esencial para equipos que quieren flexibilidad en sus sistemas de IA.

Más información en el link 👇

GitHub - BerriAI/litellm: Python SDK, Proxy Server (AI Gateway) to call 100+ LLM APIs in OpenAI (or native) format, with cost tracking, guardrails, loadbalancing and logging. [Bedrock, Azure, OpenAI, VertexAI, Cohere, Anthropic, Sagemaker, HuggingFace, VLLM, NVIDIA NIM]

Python SDK, Proxy Server (AI Gateway) to call 100+ LLM APIs in OpenAI (or native) format, with cost tracking, guardrails, loadbalancing and …

github.com ↗