Доступно [Otus] Data Engineer. Часть 3 (Егор Матещук, Артемий Козырь)

​

Что даст вам этот курс

• понимание ключевых способов интеграции, обработки, хранения больших данных
• умение работать с компонентами экосистемы Hadoop, распределенными хранилищами и платформами
• практические навыки разработки дата-сервисов, витрин и приложений
• знание принципов организации мониторинга, оркестрации, тестирования

Курс адресован разработчикам, администраторам СУБД и всем, кто стремится повысить профессиональный уровень, освоить новые инструменты и заниматься интересными задачами в сфере работы с данными.

После обучения Data Engineering вы станете востребованным специалистом, который:

• разворачивает, налаживает и оптимизирует инструменты обработки данных
• адаптирует датасеты для дальнейшей работы и аналитики
• создает сервисы, которые используют результаты обработки больших объемов данных
• отвечает за архитектуру данных в компании

Спойлер: Продолжение описания

Инженер данных - почему это актуально и интересно:

• Прежде чем попасть на стол CEO в виде квартального отчета или индивидуальной подборкой книг в email-рассылке, данные проделывают длительный и сложный, полный преобразований и трансформаций, путь, требующий непрерывного мониторинга и оркестрации.
• В этом ключе команда инженеров, которая готова обеспечить непрерывную поставку достоверной информации для всех бизнес-потребителей и функций играет важнейшую роль в принятии тактических и стратегических решений всей компании.
• Работа инженеров данных, внешне незаметная, удивительно сложна и интересна по своей специфике. Невероятное количество закономерностей и связей, инструментов и подходов, параметров и настроек не оставят равнодушным ни один пытливый ум в поисках оптимальных и элегантных решений.

Темы второго модуля:
1. Очереди сообщений
2. DWH - Хранилища данных
3. Хранилища NoSQL. Назначение и особенности
4. SQL доступ к данным. Apache Hive
5. Confluent Platform
6. Elasticsearch
7. Apache Spark