🚀 XGBoost: el algoritmo que domina las competencias de Machine Learning
Si alguna vez revisaste las soluciones ganadoras en Kaggle, seguramente encontraste XGBoost (eXtreme Gradient Boosting) en casi todas ellas. ¿Por qué es tan popular?
🌳 La idea detrás del boosting
Imaginá dos formas de resolver un problema difícil en equipo:
- Bagging (Random Forest): 100 personas trabajan independiente y votan en mayoría
- Boosting (XGBoost): una cadena de aprendizaje: cada persona corrige los errores de la anterior
XGBoost usa la segunda estrategia. Cada árbol de decisión nuevo se entrena específicamente sobre los errores del conjunto anterior. ¡La suma de muchos “aprendices débiles” forma un modelo muy poderoso!
⚡ ¿Por qué es tan bueno?
- Velocidad: procesamiento paralelo y optimizaciones en CPU/GPU
- Regularización incorporada: evita el sobreajuste automáticamente
- Manejo de datos faltantes: sin preprocesamiento extra
- Versatilidad: sirve para clasificación (detección de fraude) y regresión (predicción de precios)
- Histograma accelerado: el parámetro
tree_method='hist'es ultra eficiente
🔍 Explicación en pocas palabras
“Sobreajuste” (overfitting) ocurre cuando un modelo “memoriza” el dataset de entrenamiento pero falla con datos nuevos. XGBoost tiene parámetros como max_depth (profundidad del árbol) y learning_rate que controlan cuánto aprende cada árbol, forzando al modelo a generalizar mejor.
📊 Ejemplo real (Wisconsin Breast Cancer dataset):
import xgboost as xgb
model = xgb.XGBClassifier(n_estimators=100, learning_rate=0.1)
model.fit(X_train, y_train)Resultado: 98% de accuracy en clasificación de tumores.
Más información en el link 👇
