Обработка больших данных с Apache Spark: Учебно-методическое пособие.

Бутаков Н. А., Петров М. В., Насонов Д. Обработка больших данных с Apache Spark: Учебно-методическое пособие. - Санкт-Петербург: Университет ИТМО, 2019. - 50 с. - экз.

Аннотация :

Учебно-методическое пособие содержит теоретический материал и примеры выполнения задач для курса «Введение в технологии обработки больших данных». Пособие составлено с учётом проведения лабораторных работ с помощью фреймворка Apache Spark. Содержание дисциплины охватывает круг вопросов, связанных с организацией построения ETL-конвейеров на основе Spark SQL и DataFrame API для распределенного выполнения на кластерных вычислительных система, включая использование итеративных вычислений, важных для машинного обучения, рассмотрения shuffle механизмов и принципов организации управлением памятью в Spark. В результате освоения дисциплины студенты приобретают способности разработки программ и построения конвейеров обработки различных данных, навыки по работе с распределенными кластерными системами, а также способности к применению машинного обучения на распределенных наборах данных.

Описание :

Рекомендовано к использованию в Университете ИТМО по направлению подготовки 01.04.02 Прикладная математика и информатика в качестве учебно-методического пособия для реализации образовательных программ высшего образования магистратуры.

Название : Обработка больших данных с Apache Spark Скачать PDF (2881.52 Кб)