JPoint в соцсетях

 

JUG.ru в соцсетях

Мифы о Spark или может ли пользоваться Spark обычный Java-разработчик

Тот от у кого в руке молоток, во всём видит гвоздь! Глупо?

А что если это не молоток, а универсальный инструмент, который может быть и бензопилой, и пылесосом и зубной щёткой? В мире Big Data есть Hadoop и целый зоопарк инструментов, которые на него пашут и каждый заточен под что-то своё, а ещё там недавно появился Spark, который можно применять для любых целей.

Если вы хотите писать в Hadoop с различных б.д., стримить всякие источники в реальном времени, параллельно делать с данными какую-нибудь сложную обработку и не при помощи каких-то батчей, скриптов и sql запросов, а при помощи мощного функционального языка — добро пожаловать в Spark!

Данный доклад познакомит вас со Spark-ом: как он работает, какие задачи он способен выполнять, как им правильно пользоваться. Мы обсудим проблемы и решения, с которыми поначалу сталкиваются неопытные Spark разработчики. Разберемся с его синтаксисом и всякими хитростями.

Будет много live coding-а и в конечном итоге вы выйдете с этого доклада с достаточными знаниями, чтобы начать самостоятельно работать на Spark-e.

Евгений Борисов, Naya Technologies

@jekaborisov

Евгений Борисов разрабатывает на Java с 2001 года и принял участие в большом количестве Enterprise-проектов. Пройдя путь от простого программиста до архитектора и устав от рутины, он вышел в свободные художники. Сегодня Женя пишет и проводит курсы, семинары и мастер классы для различной аудитории: live-курсы по J2EE для офицеров израильской армии. Spring — по WebEx’у для румын, Hibernate через GoToMeeting для канадцев, Troubleshooting и Design Patterns для украинцев.



Презентация

Презентация

Видео




Все доклады