⚡ De pandas a PySpark: Cuando los Datos Ya No Caben en Memoria#
pandas es excelente para datasets medianos. Cuando el dataset no cabe en RAM, llega PySpark. 🚀
🔍 ¿Qué es PySpark?#
PySpark es la API Python de Apache Spark — un framework de computación distribuida que divide el procesamiento entre múltiples máquinas (cluster), permitiendo procesar datos a escala sin gestionar threads ni memoria manualmente.
🏗️ Los 3 conceptos clave#
1. Clusters
- Driver: una máquina coordina el trabajo
- Executors: N máquinas procesan particiones de datos
- Cuando los executors terminan, señalan al driver
2. DataFrames Similar a pandas, pero distribuido:
from pyspark.sql import SparkSession
spark = SparkSession.builder.getOrCreate()
df = spark.read.csv("huge_data.csv", header=True)
df.filter(df.age > 25).show()3. Lazy Evaluation PySpark no ejecuta hasta que lo solicitas — optimiza el plan de ejecución primero.
💡 Explicación en pocas palabras#
PySpark es la API Python para Apache Spark, un framework de computación distribuida que distribuye el procesamiento de datos entre múltiples máquinas. A diferencia de pandas (procesamiento en memoria en una sola máquina), PySpark puede manejar datasets de terabytes distribuyendo el trabajo en un cluster, mientras mantiene una API familiar para programadores Python. Es el estándar de la industria para Big Data processing.
Más información en el link 👇
