🚕 Обработка 2.8 ГБ данных Нью-Йоркского такси в Apache Spark | Анализ и визуализация в Python

В этом видео — небольшой практический обзор работы с Apache Spark на примере реальных данных нью-йоркского такси 🚖. Мы загрузим более 2.8 ГБ parquet-файлов, проведём агрегации, фильтрацию, построим графики и посмотрим, как Spark использует GPU для ускорения вычислений. 🔹 Что в видео: Подготовка и чтение parquet-файлов в Spark Изучение структуры данных (Yellow Taxi NYC) Агрегации и группировки (groupBy, agg) Сравнение производительности Конвертация данных в Pandas и построение графиков Наблюдение за использованием GPU 💻 Технологии: Apache Spark, Python, Pandas, Matplotlib, WSL (Linux под Windows) 📊 Подходит для: Начинающих аналитиков данных, инженеров и всех, кто хочет понять, как Spark работает с большими объёмами данных локально. #DataScience #ApacheSpark #BigData #Python #Pandas #NYCTaxi #Parquet #DataEngineering #GPUComputing #Analytics #MachineLearning #SparkTutorial #PythonProgramming #DataVisualization #SparkSession #SparkSQL #PySpark