Лекция 1: Введение в Data Engineering и Data Science

Введение

Data Engineering и Data Science — две ключевые области в современной индустрии данных. Они работают вместе, но решают разные задачи.

Data Engineering

Data Engineering — это создание и поддержка инфраструктуры для работы с данными.

Что делает Data Engineer:

• Разрабатывает пайплайны для сбора данных
• Настраивает хранилища данных
• Обеспечивает доступ к данным для аналитиков
• Оптимизирует производительность систем

Data Science

Data Science — это анализ данных для извлечения инсайтов.

Что делает Data Scientist:

• Анализирует данные для поиска закономерностей
• Строит прогнозные модели
• Визуализирует результаты
• Внедряет ML решения в бизнес

Пайплайн данных

Источники данных → Сбор → Хранение → Обработка → Анализ → Визуализация
     ↓               ↓       ↓         ↓          ↓          ↓
   API, DB      ETL/ELT   DW, Lake   Spark   ML/DL     Dashboard

Роли в индустрии

Роль	Основной фокус	Частые инструменты
Data Engineer	Инфраструктура данных	SQL, Spark, Airflow
Data Scientist	Анализ и ML	Python, pandas, scikit-learn
Data Analyst	Бизнес-аналитика	SQL, Excel, BI инструменты
ML Engineer	Продуктовизация ML	Docker, Kubernetes

Карьера в Data

Data Engineering и Data Science — одни из самых быстрорастущих направлений в IT. Спрос на специалистов растёт, а зарплаты выше среднего по рынку.