Как ответить на вопрос: насколько успешен наш продукт? Как оценить насколько мы продвинулись вперед, к нашему пониманию успеха, или наоборот, насколько мы отступили назад? Можем ли мы объективно измерять эту метрику успеха?

Конечно, скажут нам профессионалы, ваши метрики должны быть выстроены вокруг потребителя и его потребностей, показывать степень заинтересованности потребителя в вашем продукте, т.к. чем сильнее вы своим предложением улучшаете/изменяете его жизнь, тем крепче и дольше будет поддерживаться его заинтересованность.

Практики часто выстраивают наборы метрик в соответствии с AARM:

• Аcquisition – набор метрик, доказывающий наличие интереса к продукту;
• Activation – метрики, направленные на измерение того, как происходит процедура приобретения, получение возможности использования продукта;
• Retention – то, что демонстрирует нам уровень заинтересованности потребителя после того, как он получил опыт использования нашего продукта;
• Monetization – финансовые метрики вокруг продукта, его потребителей.

Компании, предоставляющие публичные продукты, работающие в b2c сегменте, исторически продвинулись наиболее далеко в зрелости практик и возможностей по измерению продуктового успеха.

Что позволяет им с меньшими усилиями получать работающие наборы метрик во всех этих областях?

1. Неограниченный ресурс пользовательской базы: даже такие гиганты как Amazon, WeChat, Alibaba, Facebook могут сказать “ну вот все жители Индии и Китая поголовно являются нашими пользователями, за исключением отдельных районов, населенных моржами и пингвинами, весь мир охвачен – возможности по органичному росту пользовательской базы исчерпались”.
2. Перечень возможностей и попыток предложить потребителю продукт весьма широки, стоимость потерь от отказа низка, возможны повторные предложения.
3. Получение обратной связи о характере использования продукта, удовлетворенности, дополнительных потребностях может быть получена достаточно легко и быстро от некоторой репрезентативной доли пользовательской базы.
4. Потребитель, чаще всего, является покупателем.
5. Наличие известных и мощных инструментов для получения и анализа данных от платформодержателей (Google, Amazon, Facebook и др.).

Что делать, если вы являетесь разработчиком продукта для государственных или некоммерческих услуг, или, хуже того, разрабатываете внутренний inhouse продукт для его использования другими командами в корпорации?

Точно можно сказать одно, ваша система измерения “успеха” изменится, т.к. ваш продукт существует в иной реальности. Потребуется переопределить слова из которых вы складываете определение успеха вашего продукта.

B2С продукты обычно фокусируются на объеме и качестве пользовательской базы, которая может на отдельных этапах жизненного цикла продукта выливаться и в измеримые финансовые результаты.

Публичные gov/некоммерческие услуги

Публичные, государственные и некоммерческие продукты, несмотря на кажущееся отличие от коммерческих поставщиков, почти всегда могут оставаться в пользовательско-центричной парадигме, в контексте блоков AARM.

Из определения “успеха” таких продуктов могут уйти метрики, связанные с пользовательской выручкой, но гарантированно останутся все метрики связанные с измерением путешествия пользователя.

Вопросы привлечения и удержания пользователей остаются актуальными даже для таких монстров, как портал госууслуг. 

Метрики должны учитывать специфику пользовательских взаимоотношений: нет смысла привлекать только что заменившего права водителя приглашением “купить еще записаться снова в 2 клика” – даже если ему понравилось :). Тем не менее, привлечение и удержание пользователя остаются важными: неоцифрованные услуги вне продукта дороже предоставлять пользователю, отличаются и общие риски ошибок и злоупотреблений.

B2B продукты, inhouse разработка

Задача доказательного измерения успешности таких продуктов наименее проста.

С чем приходится считаться:

1. Покупатель/спонсор обычно отличается когорты непосредственных пользователей, интересы и потребности этих ролей отличаются.
2. Цикл продажи часто занимает от N месяцев и почти всегда N>=3. Продажи требуют большого количества взаимодействий и коммуникаций массы участников. Повторить предложение после неудачной попытки продажи затруднительно.
3. Размер пользовательской базы существенно более узок, а получение сведений о характере эксплуатации или удовлетворенности может быть затруднено организационными или техническими ограничениями.
4. Финансовая успешность b2b продукта может быть достаточно сильно оторвана от его функционально/эксплуатационных характерик в силу дискретности продаж и иных факторов.

Понимая специфику продукта и его позиционирование к рыночной или внутрикорпоративной нише владелец должен дать определение успешности продукта. Заметим, что тезис “продукт решает проблему/удовлетворяет потребность” никто не отменял.

После этого, исходя из выработанного определения, мы определяем метрики.

В чем будут отличия или сходства со сказанным выше:

• Вне зависимости от того, что из себя представляет продукт (даже если это сугубо инфраструктурное решение “сервис корпоративной шины данных” и оно эксплуатируется заказчиком самостоятельно без участия поставщика), он в любом случае проживает свою жизнь по некоторому жизненному циклу: упрощенно от выявления потребности и приобретения до эксплуатации с последующим выводом. Для владельца продукта это означает, что вопросы удовлетворения интереса, приобретения продукта, удержания и подтверждения потребностей (например, выгорание пользователей, выгорание “заказчиков”) остаются релевантными, как и в предыдущих случаях B2C и gov продуктов. Главный вопрос – какие данные, когда, как и от кого мы можем получить!

• Работа на метрику “TTV: Time-To-Value”: скорость и простота всех шагов, связанных с тем, чтобы дать попробовать продукт в ответ на проявленный интерес, ускорение и упрощение разветывания демо/пробную версии, снижение затрат на запуск продуктивной эксплуатации продукта для заказчика. Внедрение часто является заметной частью TCO, а значит оптимизации внедрения могут стать существенной продуктовой характеристикой (измеряемой!), частью определения его “успеха”.

• Поскольку в enterprise лицо принимающее решение (спонсор/покупатель) и пользователи – это разные роли, то коммуникации с покупателем, проявление его интереса к продукту, выявление его дополнительных потребностей потребует организации отдельного канала коммуникаций, через который продукт  будет получать важную обратную связь, отличную от технических метрик и пользовательских отзывов. Работа и измерение этого “путешествия покупателя” важна, как и выявление его корелляции с активностью групп пользователей.

• Различные клиенты в B2B сегменте обладают различной спецификой требований, что означает что одни и те же характеристики вашего продукта могу иметь различное значение для ваших заказчиков, а значит существенно влиять на показатели Retention, даже если первичная продажа прошла успешно. Например, организации в финансовой сфере или в здравоохранении могут иметь особенные требования к защите обрабатываемых данных и быстро разочароваться в продукте, которые не удовлетворяет отдельным характеристикам/потребностям. Понимание этой специфики, а значит и поведения продуктовых метрик, особенно важно для поставщиков SaaS решений.

Экстремальный вариант “для сильных/смелых”: если приложить определенные усилия и желание, то любую inhouse разработку можно дорастить до публичного продукта, изменить ее позиционирование. Примеры подобного существуют: СУБД Tarantool от mail.ru вырос из внутрикорпоративного продукта.

Все пути открыты идущему.