Надежная стратегия управления данными может принести плоды любому предприятию, стремящемуся извлечь прибыль их ценности. Тем не менее, путь к принятию решений на основе данных по-прежнему изобилует проблемами и загадками.
Некоторые называют данные новой нефтью.
Другие называют их новым золотом. Философы и экономисты могут спорить о качестве метафоры, но нет никаких сомнений в том, что организация и анализ данных – это жизненно важная задача для любого предприятия, стремящегося реализовать обещание принятия решений на основе данных.
А для этого ключевое значение имеет надежная стратегия управления данными. Включая управление данными, управление операциями с данными, их хранение, проектирование, аналитику данных, науку о данных и многое другое. Управление данными, если все сделано правильно, может обеспечить конкурентное преимущество предприятиям в любой отрасли.
Хорошая новость заключается в том, что многое в области управления данными — хорошо понятно и основаны на надежных принципах, которые вырабатывались десятилетиями. Благодаря ученым и математикам, компании теперь имеют целый ряд логистических схем для анализа данных и выводов. Ещё важнее то, что у нас существуют статистические модели, которые рисуют полосы погрешностей, очерчивающие границы нашего анализа.
Но несмотря на все то хорошее, что появилось в результате развития data science и близких дисциплин,, иногда мы все еще остаемся в недоумении. Предприятия часто натыкаются на границы этой области. Некоторые из парадоксов связаны с практическими проблемами сбора и организации большого количества данных. Другие – философские, проверяющие нашу способность рассуждать об абстрактных понятиях Кроме того, растет озабоченность по поводу конфиденциальности данных, которые собираются в таком большом количестве.
Неструктурированные данные трудно анализировать
Большая часть данных, хранящихся в корпоративных архивах, вообще не имеет структуры. Один из моих друзей мечтает использовать искусственный интеллект для поиска в текстовых записях, сделанных сотрудниками колл-центра его банка. В этих предложениях может содержаться информация, которая поможет улучшить кредитование и услуги банка. Возможно. Но эти заметки были сделаны сотнями разных людей с разными представлениями о том, что нужно записать о том или ином звонке. Более того, у сотрудников разные стили и способности к письму. Некоторые вообще мало пишут. Некоторые записывали слишком много информации о своих звонках. Текст сам по себе не имеет особой структуры, но когда у вас есть куча текста, написанного сотнями или тысячами сотрудников в течение десятков лет, то любая структура может быть еще более слабой.
Даже структурированные данные часто бывают неструктурированными
Хорошие аналитики и администраторы баз данных управляют базами данных, определяя тип и структуру каждого поля. Иногда, во имя еще большей структурированности, они ограничивают значения в данном поле целыми числами в определенных диапазонах или заранее определенными вариантами. Но даже в этом случае люди, заполняющие формы, которые хранятся в базе данных, находят способы добавить ошибки и сбои. Иногда поля остаются пустыми. Другие ставят прочерк или вводят инициалы “н.д.”, когда считают, что вопрос не относится к делу. Люди даже пишут свои имена по-разному из года в год, изо дня в день или даже из строки в строку в одной и той же форме. Хорошие разработчики могут отловить некоторые из этих проблем с помощью валидации. Хорошие специалисты по анализу данных также могут уменьшить часть этой неопределенности путем очистки. Но все равно безумно неприятно, что даже в самых структурированных таблицах есть сомнительные записи – и что эти сомнительные записи могут вносить неопределенность и даже ошибки в анализ.
Схемы данных либо слишком строгие, либо слишком свободные
Как бы ни старались команды по работе с данными прописать ограничения схемы, в результате схемы для определения значений в различных полях данных оказываются либо слишком строгими, либо слишком свободными. Если команда по работе с данными добавляет жесткие ограничения, пользователи жалуются, что их ответы не попадают в узкий список допустимых значений. Если схема слишком гибкая, пользователи могут добавлять странные значения с минимальной последовательностью. Настроить схему точно практически невозможно.
Законы о защите данных очень строгие
Законы о конфиденциальности и защите данных очень сильны и становятся только сильнее. Благодаря таким нормативным актам, как GDPR, HIPPA и еще десяткам других, собирать данные может быть очень сложно, и еще опаснее держать их на виду в ожидании взлома хакерами. Во многих случаях проще потратить больше денег на юристов, чем на программистов или специалистов по анализу данных. Из-за этих головных болей некоторые компании просто избавляются от своих данных, как только могут от них избавиться.
Затраты на очистку данных огромны
Многие специалисты по исследованию данных подтвердят, что 90% работы — это просто сбор данных, приведение их в единообразную форму и устранение бесконечных дыр и ошибок. Человек с данными всегда скажет: “Это все в CSV и готово к работе”. Но они не упоминают о пустых полях или неправильных характеристиках. Легко потратить в 10 раз больше времени на очистку данных для использования в проекте data science, чем на запуск процедуры в R или Python для проведения статистического анализа.
Пользователи все более подозрительно относятся к вашей практике работы с данными
Конечные пользователи и клиенты все более подозрительно относятся к практике управления данными в компании, а некоторые алгоритмы искусственного интеллекта и их использование только усиливают этот страх, заставляя многих людей испытывать сильное беспокойство по поводу того, что именно происходит с данными, фиксирующими каждый их шаг. Эти страхи подстегивают регулирование и часто втягивают компании и даже благонамеренных специалистов по работе с данными в конфликт с общественностью. Мало того, люди намеренно засоряют сбор данных фальшивыми значениями или неправильными ответами. Иногда половина работы заключается в общении со злонамеренными партнерами и клиентами.
Интеграция внешних данных может как принести плоды, так и привести к катастрофе
Одно дело, когда компания берет на себя ответственность за данные, которые она собирает. Контроль над ними принадлежит ИТ-отделdc и специалистам по анализу данных. Но все более агрессивные компании выясняют, как интегрировать свои собственные данные с данными третьих сторон и огромными морями персональной информации, гуляющей по Интернету. Некоторые инструменты открыто обещают собрать данные о каждом клиенте и создать персонализированное досье на каждого покупателя. Стоит ли удивляться, что люди волнуются и паникуют?
Регуляторы накладывают ограничения на использование данных
Никто не знает, когда умный анализ данных переходит некую черту, но как только это происходит, появляются регуляторы. В одном из недавних примеров из Канады правительство изучало, как некоторые магазины пончиков отслеживали клиентов, которые также совершали покупки в конкурирующих магазинах. В недавнем выпуске новостей сообщалось: “В ходе расследования было установлено, что контракт компании Tim Hortons с американским сторонним поставщиком услуг определения местоположения содержал настолько расплывчатые и разрешительные формулировки, что позволял компании продавать “деидентифицированные” данные о местоположении в своих собственных целях”. И для чего? Чтобы продать больше пончиков? Регулирующие органы все чаще обращают внимание на все, что связано с личной информацией.
Ваша схема работы с данными может того не стоить
Мы представляем, что гениальный алгоритм может сделать все более эффективным и прибыльным. И иногда такой алгоритм действительно возможен, но цена может оказаться слишком высокой. Например, потребители – и даже компании – все чаще ставят под сомнение ценность целевого маркетинга, который исходит от продуманных схем управления данными. Некоторые указывают на то, что мы часто видим рекламу того, что уже купили, потому что рекламные трекеры не поняли, что мы больше не на рынке. Компаниям нужно быть готовыми к тому, что весь этот гений науки о данных может дать неприемлемый ответ.
В конечном счете, решения, принимаемые на основе данных, часто являются просто суждениями
Цифры могут быть достаточно точными, но зачастую важно то, как человек их интерпретирует. После всего анализа данных и волшебства ИИ, большинство алгоритмов требуют принятия решения о том, превышает или нет то или иное значение пороговое значение. Иногда ученые хотят, чтобы p-значение было меньше 0,05. Иногда полицейский хочет выписывать штрафы машинам, превышающим скорость на 20%. Эти пороговые значения часто являются просто произвольными величинами. Несмотря на всю науку и математику, которые можно применить к данным, во многих процессах, “управляемых данными”, больше серой зоны, чем нам хотелось бы верить, что оставляет решения на усмотрение интуиции, несмотря на все ресурсы, которые компания может вложить в управление данными.
Стоимость хранения данных стремительно растет
Да, дисковые накопители становятся все толще, а цена за терабайт продолжает падать, но программисты собирают биты быстрее, чем цены успевают снижаться. Устройства Интернета вещей (IoT) продолжают загружать данные, и пользователи ожидают, что смогут просматривать богатую коллекцию этих байтов вечно. В то же время контролирующие и регулирующие органы требуют все больше и больше данных на случай будущих проверок. Одно дело, если бы кто-то действительно просматривал некоторые из этих битов, но у нас в сутках так много времени. Процент данных, к которым действительно можно получить повторный доступ, становится все меньше и меньше. В то же время цена за хранение расширяющегося объема данных продолжает расти.