Data scientist (специалист по обработке, анализу и хранению больших массивов данных)

Специалист по изучению данных (data scientist)

Основная статья — здесь

Почему Data Scientist сексуальнее, чем BI-аналитик

В связи с ростом популярности data science (DS) возникает два совершенно очевидных вопроса. Первый – в чем состоит качественное отличие этого недавно сформировавшегося научного направления от существующего несколько десятков лет и активно используемого в индустрии направления business intelligence (BI)? Второй — возможно более важный с практической точки зрения — чем различаются функции специалистов двух родственных специальностей data scientist и BI analyst? В материале, подготовленном специально для TAdviser, на эти вопросы отвечает журналист Леонид Черняк.

AI не заменит программистов

Как бы глупо это ни звучало, я занялся разработкой программного обеспечения в 2014 году, потому что боялся, что ИИ изживет любую другую профессию. 

Но дело в том, что внедрение технологий происходит медленно, а ИИ намного Уже, чем вы можете себе представить. 

По сравнению с другими профессиями, машинное обучение очень далеко от автоматизации разработки программного обеспечения. Хотя у нас есть стартапы, создающие классные продукты, такие как автозавершение кода с поддержкой AI , написание кода — не специальность. Суть профессии все же заключается в решении задач с использованием технологий. А это то, что останется ценным и высокооплачиваемым навыком.

Дата-сайентист создаёт признаки

Инженерия признаков (feature engineering) автоматизируется, однако этот термин взаимозаменяют и путают с feature creation — созданием признаков. Для целей статьи будем работать с термином feature creation. Воспользоваться преимуществами AutoML можно, но, чтобы понять, какие признаки создавать, нужно понимать бизнес, продукт и потребителей.

• Дата-сайентисты знают, что два признака можно объединить, умножить или разделить: clicks и user представляются как clicks per user. 

• Специалисты понимают, что признаки нужно группировать, когда это имеет смысл.

Возможно, AutoML попытается создать признак clicks per house: в него заложено, что делить признаки один на другой важно, но также AutoML может создать бессмысленный признак из-за непонимания бизнеса и отрасли. В сравнении с признаком выше специалист в Data Science создал бы такой признак, как clicks per user grouped by zipcode, и он будет работать, а не просто лежать в модели; зная, что этот признак наиболее важен, вы создадите направленную на определённые характеристики маркетинговую кампанию

В сравнении с признаком выше специалист в Data Science создал бы такой признак, как clicks per user grouped by zipcode, и он будет работать, а не просто лежать в модели; зная, что этот признак наиболее важен, вы создадите направленную на определённые характеристики маркетинговую кампанию.

Этап 6

Углубление и развитие технических навыков

Если предыдущие этапы давали вам навыки, без которых работать ну вообще нельзя, то навыки этого этапа призваны повысить вашу продуктивность или повысить качество решаемых задач, повысить самостоятельность при запуске разработанных моделей машинного обучения в продакшн.

• Python на хорошем уровне:  декораторы, уверенное знание классов и наследования, изучение базовых классов, dunderscore __методы__ .

• Уверенное пользование bash, понимание основ linux

• Полезно изучить основы docker

 Все эти вещи можно было бы учить и раньше. Но, как правило, раньше их знать просто не нужно. Т.к. вы больше будете страдать от нехватки других навыков, приведенных в предыдущих этапах.

Другие области машинного обучения

В какой-то момент вам может потребоваться выйти из сферы подготовки прогнозных моделей или изучения и объяснения данных (кластеризация, EDA и визуализация). Это может быть связано как с вашими интересами, так и с проектами на работе. Например, это могут быть рекомендательные системы. Наверное, базовые рекомендательные алгоритмы можно изучать и одновременно с основами машинного обучения, т.к. знание одного не является обязательным для знания другого. Но логичнее переходить к ним, когда вы уже разобрались с основными алгоритмами обучения прогнозирования и кластеризации: скорее всего, этого от вас будут ожидать любые коллеги до тех пор, как вы включитесь в работу над рекомендательными системами.

Нейронные сети

Начиная с этого этапа имеет смысл изучать нейронные сети как следует с тем, чтобы применять их на пратике. Неэффективно изучать их раньше, т.к. многие задачи эффективно можно решить другими методами. И пока ваши данные и прогнозы изначально числовые, обычно «классическими» методами их решать эффективнее.

Подробнее в этапы изучениях нейронных сетей вдаваться не стану:  эта тема требует отдельной статьи. И потратить на них можно от 50, чтобы решать самые простейшие задачи, до сотен часов, чтобы решать задачи связанные с обработкой неструктурированных данных или с обучением сложных моделей.

Навыки

Знание языков программирования.

В сфере Data Science наиболее востребованными являются Python, R, SAS или Java

Работа с SQL.

Это язык управления базами данных, который нужен специалисту для извлечения данных и их последующего моделирования

Знание математики и статистики.

Несмотря на множество библиотек с готовыми решениями, они не всегда подходят для решения нетипичных задач, поэтому специалисту нужно знание линейной алгебры, матанализа, теории вероятности и статистики

Технологии машинного обучения.

Это методики анализа данных, которые позволяют аналитической системе обучаться в ходе решения множества похожих задач

Для старта в профессии

1. Уверенное использование инструментов для работы с Big Data. Наиболее популярными являются Hadoop, MapReduce, Apache Hive, Apache Kafka, Apache Spark.
2. Знание алгоритмов глубокого обучения. Это совокупность методов машинного обучения, основанная на искусственных нейронных сетях, с обучением представлениям.
3. Уверенное использование инструментов для визуализации данных, построения графиков и диаграмм. Например, Tableau, Metabase, Power BI.

Продвинутый уровень

1. Понимание основ дата-инжиниринга (Data Engineering). Нужно для того, чтобы взаимодействовать с информационными инженерами, которые занимаются организацией сбора, хранения и доступа к данным.
2. Внедрение моделей в production. Все инструменты и знания должны в итоге использоваться в интересах бизнеса.
3. Знание английского языка. Большое количество специализированной литературы доступно только на английском языке – и без нее невозможно повысить квалификацию.

Согласно рейтингу, составленному по результатам опроса, более 57 тысяч респондентов, SQL, Python, Java являются одними из самых востребованных технологий среди разработчиков.

Плюсы и минусы профессии

• Специалисты очень востребованы на рынке.
• Высокая зарплата.
• Возможность устроиться как в отечественную, так и в зарубежную компанию (с опытом и знанием языка).
• Возможность работать удаленно и/или по гибкому графику.
• Возможность постоянного профессионального развития и «прокачивания» навыков.

• Профессия довольно сложная сама по себе.
• Непростое обучение.
• Необходимо постоянно следить за технологиями и новинками рынка.
• Необходимость решать сложные задачи, для которых не подходят типовые способы.
• Непредсказуемые результаты (не всегда можно сказать до начала работы, будет ли модель эффективной).

Работой с большими данными занимаются 8,1% из опрошенных IT-специалистов. Рейтинг составлен на основе опроса более 47 тысяч человек.

Какие задачи решает?

Data scientists извлекают, анализируют и интерпретируют большие объемы данных из различных источников, используя алгоритмы, интеллектуальный анализ данных, искусственный интеллект, машинное обучение и инструменты статистического учета, чтобы создавать из них бизнес-модели. После интерпретации результаты должны быть изложены понятным и интересным языком.

Специалисты по обработке данных пользуются большим спросом в ряде секторов, поскольку предприятиям требуются люди с правильным сочетанием технических, аналитических и коммуникативных навыков. Data scientists могут работать в различных областях, в том числе:

• коммерции;
• образовании;
• науке;
• здравоохранении;
• розничной торговле;
• информационных технологиях;
• правительственных организациях;
• электронной коммерции (бизнесе онлайн).

Как специалист сайентист должен выполнять следующее:

• работать в тесном сотрудничестве с руководством компании, чтобы выявлять проблемы и использовать имеющиеся сведения, и предлагать варианты для эффективного принятия решений;
• создавать алгоритмы и разрабатывать эксперименты для объединения, управления, опроса и выделения данных для предоставления индивидуальных отчетов коллегам, клиентам или всей организации;
• использовать инструменты машинного обучения и статистические методы для решения проблем;
• тестировать модели интеллектуального анализа данных, чтобы выбрать наиболее подходящие для использования в конкретном проекте;
• поддерживать четкую и последовательную коммуникацию (как устную, так и письменную), чтобы понимать потребности в данных и сообщать о результатах;
• создавать отчеты, которые позволят четко понять, как клиенты или посетители взаимодействуют с компанией;
• оценить эффективность источников данных и методов их сбора данных и улучшать их;
• постоянно повышать квалификацию, чтобы оставаться в курсе последних технологий и методов;
• проводить исследования, на основе которых будут разрабатываться прототипы и доказательства концепций;
• искать возможности использовать соотношения идей, наборы данных, кодов и моделей в других структурах организации (например, в отделах кадров и маркетинга);
• сохранять заинтересованность по поводу использования алгоритмов для решения проблем и давать другим возможность видеть пользу от своей аботы.

Полный курс по Data Science

Длительность: 18 месяцев, Около 8 часов в неделюФормат: занятия в записи, проверяют дз, есть общий чат и по выходным проводят вебинары с ответами на вопросыОсобенности: Школа специализируется на аналитике и разработке
Полная стоимость: 162 000₽/курс
Стоимость в рассрочку: от 4 500₽/месПрограмма курса

Ступеньки карьеры и перспективы

Профессия Data Scientist сама по себе является высоким достижением, для которой требуются серьёзные теоретические знания и практический опыт нескольких профессий. В любой организации такой специалист является ключевой фигурой. Чтобы достичь этой высоты надо упорно и целенаправленно работать и постоянно совершенствоваться во всех сферах, составляющих основу профессии.

Интересные факты о профессии

Про Data Scientist шутят: это универсал, который программирует лучше любого специалиста по статистике, и знает статистику лучше любого программиста. А в бизнес-процессах разбирается лучше руководителя компании.

ЧТО ТАКОЕ «BIGDATA» в реальных цифрах?

1. Через каждые 2 дня объём данных увеличивается на такое количество информации, которое было создано человечеством от Рождества Христова до 2003 г.
2. 90% всех существующих на сегодня данных появились за последние 2 года.
3. До 2020 г. объём информации увеличится от 3,2 до 40 зеттабайт. 1 зеттабайт = 10 21 байт.
4. В течение 1 минуты в сети Facebook загружается 200 тысяч фото, отправляется 205 млн. писем, выставляется 1,8 млн. лайков.
5. В течение 1 секунды Google обрабатывает 40 тыс. поисковых запросов.
6. Каждые 1,2 года удваивается общий объём данных в каждой отрасли.
7. К 2020 г. объём рынка Hadoop-сервисов вырастет до $50 млрд.
8. В США в 2015 г. создано 1,9 млн. рабочих мест для специалистов, работающих на проектах Big Data.
9. Технологии Big Data увеличивают прибыль торговых сетей на 60% в год.
10. По прогнозам объём рынка Big Data увеличится до $68,7 млрд. в 2020 г. по сравнению с $28,5 млрд. в 2014 г.

Несмотря на такие позитивные показатели роста, бывают и ошибки в прогнозах. Так, например, одна из самых громких ошибок 2016 года: не сбылись прогнозы по поводу выборов президента США. Прогнозы были представлены знаменитыми Data Scientist США Нейт Сильвером, Керк Борном и Биллом Шмарзо в пользу Хиллари Клинтон. В прошлые предвыборные компании они давали точные прогнозы и ни разу не ошибались.

В этом году Нейт Сильвер, например, дал точный прогноз для 41 штата, но для 9 штатов — ошибся, что и привело к победе Трампа. Проанализировав причины ошибок 2016 года, они пришли к выводу, что:

1. Математические модели объективно отражают картину в момент их создания. Но они имеют период полураспада, к концу которого ситуация может кардинально измениться. Прогнозные качества модели со временем ухудшаются. В данном случае, например, сыграли свою роль должностные преступления, неравенство доходов и другие социальные потрясения. Поэтому модель необходимо регулярно корректировать с учётом новых данных. Это не было сделано.
2. Необходимо искать и учитывать дополнительные данные, которые могут оказать существенное влияние на прогнозы. Так, при просмотре видео митингов в предвыборной кампании Клинтон и Трампа, не было учтено общее количество участников митингов. Речь шла приблизительно о сотнях человек. Оказалось, что в пользу Трампа на митинге присутствовало 400-600 человек в каждом, а в пользу Клинтон — всего 150-200, что и отразилось на результатах.
3. Математические модели в предвыборных кампаниях основаны на демографических данных: возраст, раса, пол, доходы, статус в обществе и т.п. Вес каждой группы определяется тем, как они голосовали на прошлых выборах. Такой прогноз имеет погрешность 3-4 % и работает достоверно при большом разрыве между кандидатами. Но в данном случае разрыв между Клинтон и Трампом был небольшим, и эта погрешность оказала существенное влияние на результаты выборов.
4. Не было учтено иррациональное поведение людей. Проведенные опросы общественного мнения создают иллюзию, что люди проголосуют так, как ответили в опросах. Но иногда они поступают противоположным образом. В данном случае следовало бы дополнительно провести аналитику лица и речи, чтобы выявить недобросовестное отношение к голосованию.

В целом, ошибочный прогноз оказался таковым по причине небольшого разрыва между кандидатами. В случае большого разрыва эти погрешности не имели бы такого решающего значения.

Сначала надо понять, что такое Data science/машинное обучение и подойдет ли оно вам

Потому что если это просто модное слово и вы хотите получать много денег или работать в Гугл, то легче заработать на позиции маркетолога или веб-аналитика, и это тоже достаточно аналитичная работа. 

Какие альтернативы:

Возможно, вы технарь-интроверт, желающий делать что-то своими руками и не желающий много общаться с другими людьми или вникать в бизнес (потому что DS очень прикладная штука, требующая погруженная в предметную область). Тогда есть варианты: или «просто программирование» вам будет интереснее (Не хочется разрабатывать сайты? — Нужны разработчики бэкенд приложений и дата-инженеры, в больших количествах), или если всё-таки хочется заниматься машинным обучением, то изучать все методы data science и знать их лучше всех, чтобы пойти сразу в более крупную компанию, где достаточно чисто-технических задач.

Если вы человек творческий, возможно, разработка интерфейсов (фронтенд, мобильные приложения) вам подойдёт больше.

Если вы от природы аналитик и любите разбираться в данных, но программирование вас не заинтересует, а на изучение всей математики вам не хватает времени, стоит выбрать тот же самый учебный путь! Просто сделать акцент на мнее математических задачах, и не лезть в программироване сложных систем. Аналитики, знающие основы data science, тоже нужны в компаниях.

Подробнее об альтернативах написал в статье: Стоит ли смотреть в сторону дата сайенс?

Важно, чтобы работа зажигала. Без искреннего интереса «грызть» Data science будет тяжело, потому что надо разобраться в куче нюансов, особенно если у вас нет за плечами хороших знаний в статистике, линейной алгебре и мат.анализе

Как понять, будет ли вам интересно заниматься именно data science?

Лучший способ — прочитать что-то лёгкое, но дающее представление о широтие используемых методов.

Мне кажется, что идеально эту роль выполняет книга Datasmart (выше писал сайт, на котором я нашёл её бесплатно). На русский она тоже переведена: «Много цифр. Анализ больших данных при помощи Excel, Джон Форман». Хотя, если вы хотите работать в data science, знание английского необходимо (технический английский выучить намного легче разговорного, и это будет очень полезно для любой работы в ИТ).

Эта книга показывет многие из технических методов Data science на уровне интуиции и даёт сразу достаточно детальное представление о решаемых задачах и где в бизнесе можно применить данные модели.

Если эта книга не вызовет интерес разобраться во всех указанных алгоритмах детальнее, вероятно, работа в data science не для вас.

Если книга интересн вызовет, но вам также хочется больше программировать, скорее всего, вам интересно будет стать machine learning engineer. Разница между data scientist  и machine learning engineer в том, что первый должен общаться с людьми и понимать, какую задачу имеет смысл решать, а второй должен уметь состыковать программы с «искусственным интеллектом» с другими ИТ системами, мобильными телефонами или требованиями обрабатывать огромные объемы данных.

Кстати, подобная книга для тех, кто хочет понять стоит ли ему заниматься визуализацией данных (PowerBI, Tableau и т.п.) — «Storytelling with data». Если эта книга тоже вдохновила, вместе с предыдущей, вероятно вы data scientist, способный выполнять и роль аналитика. Если же заниматься объяснением данных вам неинтересно, вам стоит нацелеваться на позицию machine learning engineer или подумать, не легче ли быть «обычным» программистом.

Требования к специалисту

Специалист по данным неразрывно связан с Data Science – наукой о данных. Она находится на пересечении нескольких направлений: математики, статистики, информатики и экономики. Следовательно, специалисты должны понимать и интересоваться каждой из этих наук.

Кроме этого, Data Scientist должен знать:

1. Языки программирования для того, чтобы писать на них код. Самые распространенные – это SAS, R, Java, C++ и Python.
2. Базы данных MySQL и PostgreSQL.
3. Технологии и инструменты для представления отчетов в графическом формате.
4. Алгоритмы машинного и глубокого обучения, которые созданы для автоматизации повторяющихся процессов с помощью искусственного интеллекта.
5. Как подготовить данные и сделать их перевод в удобный формат.
6. Инструменты для работы с Big Data: Hadoop, MapReduce, Apache Hive, Apache Kafka, Apache Spark.
7. Как установить закономерности и видеть логические связи в системе полученных сведений.
8. Как разработать действенные бизнес-решения.
9. Как извлекать нужную информацию из разных источников.
10. Английский язык для чтения профессиональной литературы и общения с зарубежными клиентами.
11. Как успешно внедрить программу.
12. Область деятельности организации, на которую работает.

Помимо того, что специалист по данным должен обладать аналитическим и математическим складом ума, он также должен быть:

• трудолюбивым,
• настойчивым,
• скрупулезным,
• внимательным,
• усидчивым,
• целеустремленным,
• коммуникабельным.

Хочу отметить, что гуманитариям достичь высот в этой профессии будет крайне тяжело. Только при большом желании можно пробовать осваивать данную стезю.

Требования к специалисту

За последнее десятилетие специалисты по обработке данных стали необходимым активом и присутствуют практически во всех организациях. Эти профессионалы – разносторонне образованные люди с техническими навыками высокого уровня, способные создавать сложные количественные алгоритмы для организации и синтеза больших объемов информации, используемых для ответа на вопросы и реализации стратегии в организации.

Указанные знания должны сочетаться с хорошими коммуникативными и лидерскими качествами, необходимыми для достижения полезных результатов для различных заинтересованных сторон внутри организации или бизнесе в целом.

Заинтересованность в своей работе в сочетании с высочайшими отраслевыми знаниями и хорошими навыками коммуникации позволяют data scientists легко объяснять высокотехнологичные результаты другим сотрудникам с нетехническим образованием.

Как правило, для работы в качестве специалиста по данным требуется высшее образование в области информатики, математики или естествознания, при этом высоко ценится специализация в сфере высшей математики, физики, статистики и инженерного дела. Ожидается, что сотрудник будет знать некоторые языки программирования (R, Python, SQL, C и/или Java) и особенности работы с базами данных.

Отдельные крупные работодатели предлагают самостоятельные программы подготовки специалистов, которые обычно занимают около двух лет. Некоторые из них принимают в качестве учеников выпускников ВУЗов с любой специальностью.

Квалификация последипломного образования (например, степень магистра или доктора наук) также может быть полезной для профессиональной карьеры. В некоторых учебных заведениях доступно обучение в магистратуре по специальности бизнес-аналитика или дата сайенс, однако для поступления требуется иметь диплом первой ступени ВУЗа по специальности в области математики, инженерии, информатики или естественных наук, в редких случаях допускаются бакалавры, окончившие факультеты бизнеса, экономики или психологии, при наличии математических способностей и базового опыта программирования.

Зачем Data Science бизнесу

Компании используют Data Science вне зависимости от размера бизнеса, показывает статистика Kaggle (профессиональная соцсеть специалистов по работе с данными). А по подсчетам IDC и Hitachi, 78% предприятий подтверждают, что количество анализируемой и используемой информации в последнее время значительно возросло. Бизнес понимает, что неструктурированная информация содержит очень важные для компании знания, способные повлиять на результаты бизнеса, отмечают авторы исследования.

Индустрия 4.0

Роман Нестер — РБК: «Коммерческие данные — это кровь интернета»

Причем это касается самых разных сфер экономики. Вот лишь несколько примеров отраслей, которые используют Data Science для решения своих задач:

• онлайн-торговля и развлекательные сервисы: рекомендательные системы для пользователей;
• здравоохранение: прогнозирование заболеваний и рекомендации по сохранению здоровья;
• логистика: планирование и оптимизация маршрутов доставки;
• digital-реклама: автоматизированное размещение контента и таргетирование;
• финансы: скоринг, обнаружение и предотвращение мошенничества;
• промышленность: предиктивная аналитика для планирования ремонтов и производства;
• недвижимость: поиск и предложение наиболее подходящих покупателю объектов;
• госуправление: прогнозирование занятости и экономической ситуации, борьба с преступностью;
• спорт: отбор перспективных игроков и разработка стратегий игры.

И это лишь самый краткий и поверхностный список использования Data Science. Количество различных кейсов с использованием «науки о данных» увеличивается с каждым годом в геометрической прогрессии.

Каждый интернет-пользователь и просто потребитель ежедневно десятки раз сталкивается с продуктами и решениями, в которых применяются инструменты Data Science. К примеру, аудио-сервис Spotify использует их, чтобы лучше подбирать треки для пользователей в соответствии с их предпочтениями. То же самое можно сказать о предложении фильмов и сериалах на видео-стримингах, таких как Netflix. А в Uber науку о данных рассматривают как инструмент для предиктивной аналитики, прогнозирования спроса, улучшения и автоматизации всех продуктов и клиентского опыта.

Экономика инноваций

Что такое Big Data и почему их называют «новой нефтью»

Конечно, дата-сайентисты не могут в точности предсказать будущее компании и учесть абсолютно все возможные риски. «Все модели неправильные, но некоторые из них полезны», — иронизировал по этому поводу британский статистик Джордж Бокс. Тем не менее, инструменты Data Science служат хорошей поддержкой для компаний, которые хотят принимать более информированные и обоснованные решения о своем будущем.

Как стать Data Scientist с нуля?

Давайте разберемся, с чего начать обучение профессии, и как можно стать специалистом по анализу данных.

1. Первый способ – поступить в профильный вуз и параллельно освоить необходимые языки программирования и инструменты визуализации. Есть несколько вузов, выпускники которых особенно ценятся среди работодателей.
2. Второй способ – пойти на курсы, где вы изучите математическую базу и получите практические навыки. Если у вас уже есть техническое образование, пусть даже не связанное с Data Scientist, это оптимальный вариант. Если технического образования нет, то найти первую работу будет сложнее. Вам могут помочь курсы, где есть программы помощи с трудоустройством.

3. Часто в профессию переходят аналитики данных и Python-разработчики. Сфера активно растет, поэтому людей привлекают высокие зарплаты и перспективы.

Также освоить профессию Data Scientist можно через интернет. Многие люди, которые ищут, с чего начать карьеру в этой сфере, выбирают данный путь. Есть несколько онлайн-университетов, где можно пройти обучение:

В интернете есть бесплатные курсы по Data Scientist. Если вы думаете, подойдет или нет вам эта профессия, то можете посмотреть данные уроки и получить более полное представление и описание данной работы:

• Анализ данных на Python в задачах и примерах
• Курс по библиотеке Pandas
• Курс по машинному обучению для новичков
• Бесплатный курс по базам данных MySQL

• Работа с Google Таблицами для начинающих

Итоги

Работа в середине процесса автоматизируется, а платформы для автоматизации невероятно полезны, но именно вы нужны, чтобы начать работу и закончить её. Я считаю, что должности в области науки о данных не будут сокращаться; напротив, со временем они будут обновляться.

Если вам интересно решать проблемы бизнеса с помощью данных, хотите научиться выявлять закономерности в них и создавать модели для решения конкретных задач в крупных технологических компаниях, обратите внимание на наш флагманский курс о Data Science. Или же узнайте, как прокачаться и в других востребованных специальностях:

Data и Machine Learning

Python, веб-разработка

Мобильная разработка

Java и C#

От основ — в глубину

А также: