⚙️ Lo Que Los Cursos de IA No Te Enseñan: Las 6 Decisiones de Producción#
Los cursos te enseñan a hacer un modelo preciso. Raramente te enseñan las decisiones que vienen justo después. Esta es la guía basada en investigación real. 🎯
📊 Los 6 Trade-offs en Producción#
1. Build vs. Buy en la era LLM
- < 100k peticiones/día → API externa (GPT-4o Mini) es la respuesta correcta
1M peticiones/día → el costo por token empieza a comerse el margen
- ⚠️ El 70-80% del costo de self-hosting es personal, no hardware
2. Complejidad del Modelo vs. Mantenibilidad
- Principio CACE de Google: “Changing Anything Changes Everything”
- El código del modelo es una fracción pequeña del sistema real
- ¿Quién debuggea esto en 6 meses? Si la respuesta es “unclear” — ahí está la decisión
3. Cantidad vs. Calidad de Datos
- Más datos + mucho ruido = performance plana o peor
- El “data swamp”: colecionas todo porque el storage es barato
- Datos médicos con etiquetas de expertos > datasets enormes con anotaciones inconsistentes
4. Throughput vs. Latencia (Batch vs. Real-Time)
- La mayoría de problemas de negocio NO necesitan predicciones en sub-segundo
- Batch inference: puntuaciones de churn diarias, recomendaciones semanales
- Si el usuario no nota si la predicción tiene 5 min o 5ms → usa batch
5. Prompt Engineering vs. Fine-Tuning
- Prompting: rápido, barato, flexible. Empieza aquí siempre
- Fine-tuning GPT-4o para customer support = ~$10k + 6 semanas de data prep
- DSPy (prompt optimization) superó fine-tuning en algunos benchmarks con 35x menos rolloutsF
6. Automatización vs. Supervisión Humana
- AI maneja volumen, velocidad y reconocimiento de patrones
- Humanos manejan irreversibilidad
- HITL selectivo: revisión humana solo para casos edge, baja confianza, alto riesgo
💡 Explicación en pocas palabras#
El principio que unifica estos 6 trade-offs: en producción, el costo de una decisión rara vez se paga donde se toma. Un modelo más complejo te cuesta en mantenimiento 6 meses después. Un sistema en tiempo real te cuesta en infraestructura 24/7 para siempre. Datos sucios te cuestan en ciclos de re-entrenamiento. Un prompt inteligente te cuesta en fragilidad ante casos edge. Y la automatización completa te cuesta cuando algo irreversible sale mal. El arte del AI engineering es saber dónde aterriza el costo — y preguntarlo lo suficientemente temprano para actuar.
Más información en el link 👇
