Портал №1 по управлению цифровыми
и информационными технологиями

Пять преимуществ применения идей DataOps для вашего бизнеса

Объём данных, которые генерируются и собираются компаниями разных мастей, продолжает расти. Предприятия, которые хотят ускорить свои сквозные процессы и улучшить понимание бизнеса, не могут продолжать использовать ручные процессы управления данными, на которые они полагались в течение десятилетий. И в ближайшие годы ситуация будет только ухудшаться. IDC ожидает, что совокупный объём данных будет прирастать на 32% в год и достигнет 180 зеттабайт к 2025 году. К счастью, DataOps может помочь.

DataOps — это относительно новая и пока ещё развивающаяся дисциплина, возникшая около пяти лет назад. Она построена на фундаменте, созданном гибкой разработкой и DevOps. Цель состоит в том, чтобы привнести аналогичные принципы в аналитику данных и науку о данных, чтобы улучшить качество данных и сократить время, необходимое для получения качественной бизнес-аналитики.

В течение следующих нескольких лет предприятия, которые сопротивляются внедрению DataOps, будут тратить ещё больше времени на реагирование на ошибки в данных и в ручных процессах, и еще больше отставать в своей способности предоставлять своевременную и точную информацию бизнесу. В то же время те, кто использует DataOps, создадут оптимизированные автоматизированные конвейеры данных, которые позволят администраторам данных и учёным-исследователям оптимизировать бизнес-процессы, сосредоточиться на более важных задачах и поддерживать принятие эффективных решений.

В этой статье мы рассмотрим принципы и возможности DataOps, а также пять конкретных способов, с помощью которых любая организация может извлечь дополнительную выгоду из данной дисциплины.

Что Такое DataOps?

Вследствие огромных объёмов данных выполнение анализа сегодня требует автоматизации для проверки достоверности данных, анализа работы и поведения конвейера данных, а также обнаружения аномалий и существенных отклонений, которые могут указывать на проблемы качества данных или самого конвейера. Основные принципы и лучшие практики DataOps были заимствованы из идей гибкой разработки и DevOps и сформулированы в виде 18 принципов Манифеста DataOps.

Основополагающая концепция DataOps заключается в следующей формулировке: «аналитика – это код». Это означает, что всё –процедуры сбора данных, процедуры ETL, даже процедуры анализа, которые управляют метаданными и консолидацией, – должно быть модульным, автоматизированным, легко и мгновенно воспроизводимым. По мере продвижения бизнеса к этой цели будут проявляться операционные преимущества, такие как возможность получать оповещения, касающиеся потоковых данных, в режиме реального времени, что будет способствовать решению проблем с качеством ещё до того, как «плохие» данные будут распространяться или получать шанс повлиять на принятие решений.

Сила DataOps

DataOps уже сегодня позволяет компаниям трансформировать свои процессы управления данными и анализа данных. Например, как и DevOps, DataOps помогает создавать изолированные, безопасные временные среды тестирования, которые позволяют экспериментировать и внедрять инновации (принцип 12 Манифеста). Однако, в то время как разработчики обычно сосредотачиваются на приложениях с небольшими тестовыми базами данных, аналитикам данных и учёным требуются безопасные среды, содержащие приложения вместе с терабайтами или даже сотнями терабайт данных. Создание массивных одноразовых сред обработки данных становится возможным благодаря упрощению внедрения автоматизации, клонирования, прогнозирования и тому подобных инструментов.

Принципы DataOps также позволяют компаниям работать с массивными наборами своих данных способами, которые ещё несколько лет назад невозможно было представить. Например, DreamWorks теперь может легко делиться массивами данных, связанных со своими фильмами, находящимися в процессе разработки, с творческими командами по всему миру, обеспечивая «быстрое» сотрудничество и резко сокращая время производства. Другой пример – компания WuXi NextCODE, разработавшая геномную платформу, которая может сравнивать человеческую ДНК – а это миллионы бит данных, – и интегрировать данные на лету, чтобы исследовать различия или мутации, которые могут вызывать рак или редкие заболевания.

Также существует много компаний сферы финансовых услуг в Америке, EMEA и APAC, которые используют NetApp для перехода к гибридной модели облачного конвейера данных. Гибридная модель позволяет им поддерживать соответствие требованиям к защите и конфиденциальности данных, используя при этом преимущества облаков для данных и компонентов приложений, не требующих высокого уровня защиты. Это позволяет разработать стратегию, обеспечивающую как соответствие нормативным требованиям, так и гибкость гибридной архитектуры конвейера данных.

Однако вам не обязательно быть киностудией, генетической компанией или предоставлять финансовые услуги, чтобы извлечь выгоду из DataOps. Каждая компания, которая нуждается в своевременном получении качественной бизнес-аналитики, получит существенную выгоду от применения идей DataOps.

Топ-5 преимуществ DataOps для любого бизнеса

  1. Сокращение трудозатрат. Подобно DevOps, DataOps – это, в основном, процессно-ориентированные методологии и автоматизация, которые резко повышают эффективность работы персонала. Внедряя интеллектуальные механизмы тестирования и наблюдения в аналитический конвейер, команды могут оставаться сосредоточенными на стратегических задачах, а не корпеть над электронными таблицами в поисках аномалий.
  2. Более качественные данные. Создание автоматизированных повторяющихся процессов наряду с автоматизацией тестирования кода и контролируемыми развертываниями уменьшает вероятность того, что ошибки, вызванные человеческим фактором, приведут к выходу из строя всей сети или к получению ошибочных результатов.
  3. Более быстрый доступ к качественной аналитике. Автоматизированный приём, обработка и сводная аналитика поступающих потоков данных в сочетании с устранением ошибок позволяют получить представление о моделях поведения клиентов, рыночных сдвигах, колебаниях цен мгновенно, а не через несколько часов, дней или даже недель.
  4. Возможность видеть более широкую картину потока данных. Помимо критически важных для бизнеса повседневных данных, DataOps может обеспечить агрегированное представление во времени всего потока данных, протекающего через всю организацию до конечных пользователей. Это поможет выявлять макро-тенденции, такие как изменение темпов адаптации бизнеса к определённой функциональности или к услугам, а также выявлять изменения в типовых шаблонах деятельности с течением времени, строить поведенческие или географические модели на основе сфокусированных или глобальных наборов данных. Создание таких представлений невозможно, если вы реагируете на аномалии и ошибки с помощью ручных процессов.
  5. Карьерный рост. Для специалистов по анализу данных и операциям с данными, которые научатся внедрять процессы DataOps и управлять ими, будет обеспечен карьерный рост, поскольку они станут лидерами следующего поколения команд обработки данных и установят стандарт для практики обработки данных по крайней мере на ближайшие 10 лет. Бизнес также выиграет от повышения удовлетворенности и лояльности сотрудников, отказываясь от повторяющихся монотонных процессов и становясь вдохновляющей и быстро развивающейся организацией, ориентированной на инновации.

В течение следующих пяти лет подходы DataOps станут общепринятыми точно так же, как и DevOps. Их преимущества слишком убедительны, а последствия игнорирования слишком ужасны. Однако по мере того, как компании будут продвигаться по пути принятия концепции DataOps и добиваться успеха в использовании её принципов для управления бизнес-аналитикой и оптимизации процессов, связанных с большими наборами данных, они будут сталкиваться с ограничениями своей инфраструктуры. В результате будет расти их потребность в надёжных технологических партнерах, которые помогут им обеспечить репликацию, распространение и доступность данных в существенно больших масштабах, чем это требуется сегодня

С оригиналом статьи можно ознакомиться по ссылке.

«DevOps: современный подход к организации работы ИТ»
Учебный курс про менеджмент, а не про технические практики

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *

  • Рубрики

  •  
  • Авторы

  •  
  • Самое свежее

    • 3 стратегии, которые помогут вашей команде принять метрику потока
      Вам необходимо эффективно управлять рабочими процессами, чтобы иметь возможность постоянно предоставлять ценность своим клиентам. Именно здесь в игру вступают метрики потока. Метрики потока являются основной движущей силой оптимизации процессов.
    • Новая модель предоставления ИТ-услуг: почему вам нужно ориентироваться на продукт
      Традиционно ИТ-организации делят все предоставляемые ими услуги на три уровня: инфраструктура (инфраструктура как услуга), платформа (платформа как услуга) и приложения
    • Как DevOps-командам следует использовать метрики DORA
      С момента выхода в 2018 году книги «Accelerate: Наука о бережливом программном обеспечении и DevOps», показатели DORA, которые она представила, стали популярным
    • Лучше делать хоть что-то, чем не делать ничего
      На конференциях по всяким Agile и DevOps мы часто слышим слово «unlearn» — забудьте то, что вы знали ранее! Измените свои представления о мире! Всё устроено
    • VI форум «Управление данными — 2021»: наведите порядок в данных!
      23 сентября 2021 года издательство «Открытые системы» в шестой раз проведет в Москве масштабный форум «Управление данными — 2021», объединяющий всех, кто определяет стратегию работы с данными, воплощает ее в жизнь и управляет предприятием на основе объективных достоверных данных. Участники форума обсудят не только инновационные стратегии и бизнес-модели работы с корпоративными данными, но и конкретные архитектурные и технологические решения.
    • Простые уловки, как ускорить процесс разработки программного обеспечения
      С некоторыми вещами люди из бизнеса вынуждены соглашаться, и одна из них заключается в том, что никто не хочет сердить свою команду разработчиков. Часто они являются краеугольным
    • Почему каждая инициатива DevOps должна начинаться с оценки возможностей
      Внедрение практики DevOps идет полным ходом. Организации сосредоточены на том, как внедрить возможности DevOps в командах и как масштабировать DevOps в масштабах предприятия. Но важным аспектом любого пути масштабной трансформации является оценка возможностей команды или организации на этом пути.
    • Что такое процесс и что такое практика в ITIL®4
      Продолжаем публиковать короткие видеоролики, посвященные актуальным вопросам управления ИТ. Сегодня поговорим о том, что такое процесс и что такое практика в ITIL4. Это не переименование процессов в практики, это два отдельных понятия. Рассказывает Игорь Фадеев, ITIL 4 Managing Professional и ITIL 4 Strategic Leader, аккредитованный тренер по ITIL4.
    • Аудит. Что может быть скучнее?!
      На прошедшей неделе участвовал в аудите (в качестве объекта аудита). Большинство людей, проходивших аудит, подозреваю, разделяет это ощущение: «Бюрократия, формальности и т.п.»
    • Как технический долг вредит вашей команде программистов — и вашей безопасности приложений
      Техническая долг может серьезно повлиять на здоровье организации - и на психическое здоровье ваших разработчиков. Более половины из 200+ членов инженерных команд, опрошенных в рамках отчета Stepsize "Состояние технического долга в 2021 году", считают, что технический долг негативно влияет на моральное состояние их команд.
  •  
  • Вход

  • DevOps
    Kanban
    ITSM
    ITIL
    PRINCE2
    Agile
    Lean
    TOGAF
    COBIT