Многие аналитики, работающие с большими данными, предпочитают не использовать DevOps, но есть ряд весомых преимуществ, которые открывает применение этой концепции для больших данных.
Получить точные и содержательные ответы на вопросы, касающиеся больших данных, тяжело. Во многих компаниях зачастую эта сложность усугубляется несогласованностью в работе между отделами разработки и ИТ-операций. И даже если ИТ следует стратегии DevOps для других поддерживаемых приложений, это по разным причинам обычно не касается проектов, связанных с большими данными.
Автор статьи Your Big Data Strategy Needs DevOps предлагает взглянуть на то, что же такое DevOps и почему многие проектные команды, работающие с большими данными, решают не использовать эту концепцию. А также узнать, какие преимущества даёт внедрение DevOps, и с какими трудностями могут столкнуться те, кто попытается работать с большими данными в рамках концепции DevOps.
Почему большие данные живут без DevOps?
Сложность больших данных – особенно в той части, которая касается аналитики больших данных – побуждает большинство ИТ-руководителей отказаться от внедрения для них процессов и методик DevOps, которые уже используются в организации для других приложений. Для тех, которые формируют аналитические данные в компании. Поскольку область работы с большими данными является новой, чужой для большинства ИТ-специалистов, получилось так, что аналитики и разработчики, работающие с большими данными, сформировали свои собственные группы, наряду с принятой в компании структурой отделов разработки и администрирования.
Почему же Big Data нужен DevOps?
Вследствие этого разделения, ровно те же недостатки и узкие места, которые благополучно решены благодаря DevOps в других приложениях, стали появляться в проектах больших данных. Фактически проблемы усугубляются. Поскольку некоторые проекты Big Data на практике получаются сложнее, чем ожидалось изначально, ИТ-руководители оказываются под серьёзным давлением, связанным с необходимостью скорее получить желаемый результат. Это заставляет аналитиков пересмотреть закладываемые алгоритмы. И эти серьёзные изменения в аналитических моделях часто диктуют кардинально другие требования к инфраструктуре, по сравнению с теми, что изначально планировались. Тем не менее, команды ИТ-операций остаются в неведении до последней минуты из-за отсутствия должного взаимодействия. Затем, когда новые требования к инфраструктуре всё-таки просачиваются от разработчиков, отставание в коммуникации и распределении ресурсов уже существенно замедляет прогресс. Этот спад может нанести ущерб любому потенциальному конкурентному преимуществу, которое можно получить благодаря работе с большими данными. Именно поэтому и нужен DevOps.
Проблемы интеграции Big Data и DevOps
Те, кто решает применить DevOps к проектам, связанным с большими данными, нужно быть готовыми к ряду задач, с которыми они могут столкнуться на своём пути. Например, отделу ИТ-операций необходимо оперативно укрепить свои знания касательно платформ для работы с большими данными и того, какие аналитические модели можно применять.
Также нужно иметь в виду, ваши аналитики представляют себя скорее «социальными» инженерами, а не инженерами данных. Таким образом, им предстоит еще немного поучиться тому, что они должны будут делать. Далее, размах потенциального прироста ИТ-инфраструктуры(вычислительные и сетевые ресурсы), может быть в масштабе, никогда ранее не наблюдавшемся для других приложений. В связи с этим, если скорость является критическим показателем в планах, связанных с DevOps, координация ресурсов будет иметь первостепенное значение. И в заключении, нужно понимать, что потребуются дополнительные человеческие ресурсы, чтобы DevOps для Big Data был настолько эффективным, насколько это возможно. DevOps – это не о сокращении рабочих мест, а о том, как получить больше от своих приложений.
Выгоды, получаемые от связки Big Data + DevOps, намного перевешивают любые интеграционные проблемы, с нею связанные. Преимущества, которые дают эффективность и координация, помогут оптимизировать процессы, позволяющие вносить изменения «на лету» и узнавать больше из полученных данных.
***
А мы, в свою очередь, напоминаем вам о приближении VI Российского Форума BIG DATA, который пройдёт 29 марта в Москве в «Инфопространстве». Форум является центральным событием года на российском рынке, которое посвящено обсуждению опыта, актуальных задач и достижений компаний и организаций, которые строят бизнес, основанный на данных.
Подробная программа и регистрация на странице Форума https://www.osp.ru/iz/bigdata/
