что такое продуктовые метрики
Кратко о продуктовых метриках
Продуктовые команды часто применяют такие термины, как «инструментарий» и «телеметрия», и не только потому, что это звучит солидно. Представьте, что вы летите на самолете ночью. Как пилот узнает, в каком направлении движется самолет, достаточно ли топлива, нет ли горы прямо по курсу? С помощью телеметрии.
А теперь представьте, что вы отвечаете за рост вовлеченности на Ютубе. У вас миллиарды пользователей, сложная экосистема. Как узнать, повышается ли вовлеченность пользователей? Почему кто-то использует ваш продукт больше, а кто-то — меньше? И что вообще такое эта «вовлеченность»?
Согласно представлению Эндрю Гроува, изложенному в книге «Высокоэффективный менеджмент», без инструментария, телеметрии и индикаторов (далее будем называть всё это метриками) наш продукт представляет собой «черный ящик», в котором есть вход (код, дизайн, оборудование, время) и выход (доход, пользователи продукта). Метрики помогают количественно оценить выход и прорезать «окна» в черном ящике, чтобы понять, почему мы получаем тот или иной выход. Метрики помогают:
«Измерять» выход (например, успешность продукта): количественно оценивать движение в направлении бизнес-цели.
Анализировать выход: получать ответ на вопрос, почему мы видим тот или иной выход.
Принимать решения: проводить эксперименты и решать, как должен развиваться продукт.
Реагировать и адаптироваться: метрики предупреждают о проблемах с работоспособностью продукта и о тенденциях, которые ставят под угрозу наши цели.
Концентрировать усилия: направлять работу команды в одном направлении.
Типы метрик для продуктовых команд
Использование метрик определяется отраслью, компанией и конкретной задачей. Я не буду пытаться охватить всё, а лишь сосредоточусь на основных понятиях, применимых к наборам продуктовых метрик в большинстве случаев.
Успех, эмпатия и работоспособность
Успех (измерение выхода). В правильном ли направлении движется продукт? В чем причины?
Эмпатия. Можем ли мы определить смысл метрик? Знаем ли мы, что пользователи думают о продукте?
Работоспособность. Контролируем ли мы состояние продукта? У какого процента пользователей он работает надежно?
Истинный север, указатели и контрольные метрики
Истинный север — единственная метрика, используемая для отслеживания успеха продукта (или выхода — в аналогии с черным ящиком). Она должна быть только одна, но ее можно дополнить указателями и контрольными метриками. Метрика «истинный север» обычно представляет собой «воронку поздних этапов», т. е. кульминацию, включающую в себя множество различных шагов, — поэтому повлиять на нее сложно. Вот пару примеров из наверняка известных вам сервисов:
Spotify — общее время прослушивания.
Facebook — количество активных пользователей в месяц (MAU).
Slack — количество активных пользователей в день (DAU).
Указатели — это метрики, которые не определяют успех продукта, однако (вспомним аналогию с черным ящиком) помогают понять, почему истинный север или иные важные части продукта, которые нужно отслеживать, движутся в определенном направлении. Например, если истинный север для Spotify — общее время прослушивания, то указателями могут быть (1) количество уникальных пользователей, (2) количество уникальных композиций, прослушанных одним пользователем, и (3) средняя продолжительность композиции.
Контрольные метрики используются при проведении A/B-экспериментов: они позволяют следить за тем, чтобы вносимые в одну часть продукта изменения не повлияли отрицательно на другую часть. Например, можно провести эксперимент по увеличению количества купленных подписок, предложив значительную скидку за первый месяц. Контрольной метрикой в этом случае может быть удержание пользователей на протяжении двух месяцев — этот показатель поможет выяснить, достаточно ли удовлетворены пользователи, чтобы продолжать пользоваться вашим продуктом. Если значение контрольной метрики оказывается удовлетворительным, можно продолжать инвестировать в привлечение пользователей.
Факты и смысл
Количественные метрики характеризуются высокими объемами и низкой связью с контекстом; они дают фактические данные и помогают понять поведение пользователей: это количество активных пользователей в день (DAU), отток, вовлеченность, объем продаж и т. д.
Качественные метрики — это низкие объемы и высокая связь с контекстом; они придают смысл количественным данным и ставят их в определенный контекст: это могут быть беседы с клиентами, записи экрана, результаты опроса фокус-групп.
При достаточно большом размере выборки качественные данные могут становиться количественными. Например, из большого количества записей пользовательских взаимодействий можно получить тепловую карту, а из масштабного опроса — тенденции по ключевым словам. При этом, однако, есть риск потерять смысл обратной связи.
Помните: какой бы набор метрик вы ни выбрали, у вас должна быть возможность получить факты и выяснить их смысл.
Практические советы по работе с метриками
Определение, внедрение и использование метрик — несовершенный процесс, который приходится регулярно повторять. Однако есть три принципа (может, и больше — мне просто нравится это число), которые я постоянно использую.
Слепо используемые в качестве целей метрики утрачивают смысл
Изменение метрики не должно быть целью. Цель — это достижение бизнес-результата или определенного «выхода» для продукта, а метрика — это способ количественно оценить, достигнута ли обозначенная цель. Представьте, что вы запускаете новый интерфейс входа в систему, чтобы привлечь больше пользователей. Вам нужно определить метрику истинного севера, которая покажет, лучше или хуже новый интерфейс. У вас два варианта:
Коэффициент «показ — сеанс»: процент вошедших в систему пользователей относительно количества открывших экран входа.
Коэффициент «попытка входа — сеанс»: процент вошедших в систему пользователей относительно количества воспользовавшихся интерфейсом экрана входа.
Как и на любую общедоступную веб-страницу, сюда могут заходить боты. Количество просмотров страницы ботами (показы) большое, при этом их трудно отделить от пользователей, но боты редко взаимодействуют с интерфейсом (попытки входа) и никогда не выполняют вход. Учитывая это, можно предположить, что более точной метрикой успеха будет показатель «попытка входа — сеанс», верно?
Давайте разберемся. Представьте, что ваши пользователи делятся на две категории — взрослые и пожилые:
взрослые технически грамотны, показатель «попытка входа — сеанс» для них составляет 71%,
пожилые ориентируются хуже, поэтому в их случае это будет 50%.
Вы запускаете эксперимент, который увеличивает количество попыток входа в систему пожилыми. Их доля увеличится, но только 50% таких попыток будут успешными, поэтому используемая в качестве истинного севера метрика «попытка входа — сеанс» снизится с 65% до 63%:
Метрика истинного севера снизилась, а значит, внедрять новый интерфейс не стоит, правильно? Неправильно. Ваша цель — не увеличение количества успешных попыток входа, а привлечение большего числа людей в продукт, и в эксперименте этот показатель поднялся на 12%:
Значит ли это, что метрика «показ — сеанс» лучше? Необязательно: на нее по-прежнему влияет трафик от ботов. Редко можно найти идеальную метрику, и структурный сдвиг, проиллюстрированный выше, — один из примеров сложностей, с которыми можно столкнуться. Здесь важно понимать, где метрики могут вводить в заблуждение, и устанавливать соответствующие контрольные показатели. Повторюсь: цель — не изменение метрики, а достижение бизнес-результата или определенного «выхода».
Метрики должны быть понятными
Метрики не только оценивают прогресс в достижении цели — они помогают сплотить команду и позволяют сотрудникам действовать с большей автономностью. Для этого метрика должна быть понятна большой группе самых разных людей — иначе это плохая метрика. Для высокотехнологичных команд (например, работающих над поиском) есть исключения, но, как правило, чем проще, тем лучше. Подумайте, сможете ли вы быстро объяснить суть метрики генеральному директору?
В основе самых важных решений почти никогда не бывает идеальных данных
Данные и метрики не существуют сами по себе — они встроены в более широкую экосистему принятия решений. В сфере разработки продуктов у метрик есть два «родственника»: «чутье» и «эмпатия». Обычно про них вспоминают реже, но от этого они не становятся менее важными. Иногда их называют «продуктовой интуицией» — это интуитивное ощущение относительно того, как должен выглядеть идеальный продукт.
Чутье сложно выразить количественно, но это — важный элемент в принятии решений: оно представляет собой кульминацию предыдущих решений и петель обратной связи. И, к счастью, чутье со временем обостряется.
Эмпатия представляет собой интуитивное понимание пользователя или клиента — их проблем, ценностей и мировосприятия.
Каждое наше решение — это результат взаимодействия метрик, чутья и эмпатии. Если хороших метрик нет, приходится полагаться на эмпатию — и наоборот.
Продуктовые команды часто хотят получить как можно более точные данные, и я понимаю это желание: они боятся принять неправильное решение. Но бездействие в ожидании данных тоже стоит денег, поэтому, принимая сложные решения в отношении продукта, всегда помните о двух факторах:
Обратимость. Насколько обратимо это решение? Превышает ли цена принятия неправильного решения издержки от ожидания точных данных?
Эмпатия. Можно ли заменить нужные данные эмпатией? Без одного из этих ориентиров обойтись можно — но без обоих обойтись нельзя.
Резюме. Десять важных вопросов
Инструкции по выбору метрик давать бесполезно, поскольку они в значительной степени определяются конкретными условиями, но я могу предложить несколько вопросов открытого типа, которые можно задавать при определении набора метрик для продукта:
Какой цели вы пытаетесь достичь? Какие у вас миссия и видение?
Как узнать, что цель достигнута?
Как оценивать прогресс в достижении этой цели?
Какие действия вам нужны от пользователей и как оценить, выполняются ли они?
Как измерить совокупное поведение пользователей, определить контекст и выработать эмпатию?
Метрики абсолютные или относительные? Цель — привлечь определенное количество пользователей или определенный процент?
Как понять, что продукт надежно работает у 99,9% пользователей?
Можете ли вы объяснить выбранный «истинный север» максимум двумя предложениями?
Какие контрольные метрики вы отслеживаете в экспериментах?
Как пользователи относятся к продукту?
Здесь есть над чем подумать. Тема продуктовых метрик — очень широкая, и в ней множество нюансов. Однако одно из самых эффективных действий, которые может предпринять продуктовая команда, — вложить ресурсы и время в определение и построение правильных метрик.
Если статья оказалась полезной — можете ознакомиться с остальными в блоге reeve.blog, которые появляются там регулярно (более-менее).
О переводчике
Перевод статьи выполнен в Alconost.
Alconost занимается локализацией игр, приложений и сайтов на 70 языков. Переводчики-носители языка, лингвистическое тестирование, облачная платформа с API, непрерывная локализация, менеджеры проектов 24/7, любые форматы строковых ресурсов.
Мы также делаем рекламные и обучающие видеоролики — для сайтов, продающие, имиджевые, рекламные, обучающие, тизеры, эксплейнеры, трейлеры для Google Play и App Store.
Как продакт-менеджеру найти метрику роста и свести Unit-экономику
В преддверии старта практического онлайн-курса «Product manager» состоялся открытый урок с Сергеем Колосковым, продакт-менеджером Ozon. Участники научились находить метрики роста и строить аналитику вокруг них, а также считать и сводить unit-экономику. В этой статье мы приводим расшифровку занятия и полезные схемы и примеры из презентации.
Ключевые продуктовые метрики
Бизнес метрики описывают успешность компании: выручка и средняя выручка с пользователя, прибыль, маржа, объем реализованной продукции. Продуктовые метрики характеризуют поведение пользователей и экономику продукта.
На что должен смотреть Product-менеджер:
Все метрики складываются по принципу пирамиды, т.е. это иерархия от оперативных до верхнеуровневых метрик, классифицированных для отражения разных аспектов бизнеса. Строгой структуры у пирамиды нет, каждый раз она формируется под цели конкретной организации и продукта.
Одна из ключевых задач Продакт менеджера — правильно определить из метрик главные. Например, задачка — есть 2 проекта:
Правильный менеджер бы сказал, что информации недостаточно, чтобы принять решение. Во-первых, не известно, приведет ли проект А аудиторию именно покупателей. Во-вторых, возможно, продукт покупают лишь 1 раз за всю жизнь, поэтому «умирание потребителя» не столь важный в этом случае показатель.
Другой пример: сайт сервиса подбора частных специалистов в сфере бытовых услуг. Какие метрики будем считать для продукта? Это может быть конверсия в заказы, средний чек одного пользователя или возвращаемость мастеров.
Пирамида метрик для метрики роста (North Star) на примере Ozon
Обратите внимание, что на разные KPI влияют разные продуктовые инициативы.
Выявить метрику роста поможет чек-лист вопросов:
Ценность: Отражает ли эта метрика опыт пользователя в отношении основной ценности продукта?
AHA-Момент: Отражает ли она тот момент, когда пользователи впервые ощущают основную ценность продукта?
Бизнес: Это единственное, что показывает, что бизнес движется в правильном направлении?
Аналитика: Метрика показывает уровень фактического взаимодействия и активности?
Стратегия: Связана ли метрика с долгосрочной ценностью вашего продукта?
Таблица ниже — метрики роста, которые описал Сергей Колосков для широко известных продуктов (в telegram-канале Fresh Product manager):
среднее
Количество активных чатов на юзера
(активных — обновленных не более месяца
назад), количество отправленных писем
Ежедневная
пользовательская активность, время,
проведенное в ленте
Время
просмотра на количество просмотров
роликов, количество уникальных просмотров
видео на пользователя
Дневное,
недельное и месячное количество
отправителей сообщений.
Доля
времени за смену, когда водитель везёт
пассажир, заработок водителя за час
смены
Время
пользователей, проведённое в ленте,
ежедневная пользовательская активность,
связь с 7 друзьями в течение первых 10
дней пользования соцсетью
Количество
входов, количество отправленных писем
Количество
забронированных ночей в день/месяц/год,
конверсия в бронирование на посетителя
Время
прослушивания музыки
Конверсия
в покупку, процент брошенных корзин,
средняя стоимость заказа
Показатель
количества просмотров у подписчиков и
количества часов просмотренного контента
в месяц
Количество
прослушанных треков на юзера
Количество
забронированных ночей в день/месяц/год
Время,
проведенное за чтением на ресурсе
Количество
прочитанных страниц на юзера
Конверсия
в следующее обучение в течение месяца
Количество
поездок за неделю/месяц/год, время подачи
Количество
регистраций, заказов и конверсию из
регистраций в покупку.
Количество
покупок на подписчика prime
Количество
покупок на пользователя
Кол-во
free-аккаунтов с более чем 3 активных
пользователей в неделю
Количество
коллег, коммуницирующих в течение
дня/недели/месяца
Количество
вопросов, на которые пользователь
отвечает
Время
пользователей, проведённое в ленте,
ежедневная пользовательская активность
Метрика роста — всегда выходная метрика.Выходные метрики — это показатели, которые демонстрируют конкретный результат от проделанной работы, в то время как входные метрики отражают выполненные действия. Например, количество заявок или время, проведенное в приложении.
Следующая задачка: выявить метрику роста Google Drive. Согласно концепции продукта, пользователь бесплатно может хранить до 15 GB. Дополнительный объем в облаке уже платный. Поэтому, можно сказать однозначно, что здесь метрика роста — количество аккаунтов с файлами общим весом в 15 GB.
Аналогичная задача для соц.сети TikTok. Только здесь нужно учесть другой вид монетизации — просмотр рекламы. В данном случае метрика роста — количество просмотров, время, проведенное пользователем в день. Иногда ВЫХОДные метрики путают с ВХОДными метриками вроде количества создаваемого контента в соц.сети, удобства загрузки видео и т.д.
Метрики роста бессмысленны без финансовой успешности.
Если посмотреть полную воронку каналов продаж и коммуникаций E-commerce продукта, то можно увидеть, что она состоит из нескольких крупных блоков:
Ниже можно изучить схему управления онлайн-магазинов, которая в принципе применима и к большинству IT-продуктов.
LTV и CAC — две ключевые метрики продукта
В отличие от метрик роста LTV и CAC — метрики, которые в конечном итоге определяют финансовую успешность продукта.
LTV (Live Time Value) — деньги, которые средний пользователь тратит в вашем продукте за все время его использования.
CAC (Customer Acquisition Cost) — ваши затраты на привлечение среднего пользователя.
Вовлеченность описывается следующими этапами в жизненном цикле пользователя:
Unit-экономика — это продукт
Существует простая формула для расчета выгодности продукта:
User Acq * (-CPA + AMPU) = Profit
CPA — стоимость привлечения пользователя
AMPU — средний доход с привлеченного пользователя
User Acq — количество пользователей, активировавших взаимодействие с продуктом
Пример ниже наглядно иллюстрирует, как работает эта формула на практике:
Unit-экономика раскладывается на метрики для выявления «узких» мест. Продакт менеджеры используют Unit-экономику, как инструмент, который помогает обнаружить, на какие параметры можно повлиять, чтобы улучшить рентабельность продукта.
Выглядит это примерно так: менеджер раскладывает все расходы и конверсии и ищет решения, что можно сократить, а что вырастить, и как это повлияет на операционный доход.
Еще несколько лайфхаков по unit-экономике
Готовые сервисы. Если Вы введёте в Яндексе “Unit-экономика калькулятор”, то легко найдёте сайты, где Вам нужно будет вбить только цифры для подсчёта маржинальной прибыли.
Отдельные каналы. Чтобы наверняка понять результат, оценивайте его в отдельности по каждому каналу рекламы. Ведь именно реклама откусывает большой кусок расходов.
По продуктам. Если у Вас большой спектр продуктов, то оценивайте юнит-экономику по каждому в отдельности или хотя бы по каждой в отдельности группе.
Конверсия. Чтобы улучшить финальную цифру, работайте над конверсией. Именно этот показатель тут не учитывается напрямую, хотя он участвует в итоге.
Срок окупаемости. Если в первый месяц юнит-экономика не выходит в плюс (у Вас рекурентные платежи), то просчитайте период когда это произойдёт (CAC Payback) по формуле CAC / MRR –ACS.
Самый простой способ поиска узких мест — это попытка ответить на вопрос «Что мешает нам вырастить продажи в 5 раз?» Среди наиболее распространенных ответов обычно встречаются:
Первое занятие уже сегодня 27 апреля, поэтому если давно подумывали попробовать себя в управляющей должности — в течение этой недели можно присоединиться. Ловите удачный момент освоить недостающие знания. Сейчас следующую неделю OTUS дает большие скидки на многие курсы, но осталось не так много мест!
Дополняет этот курс онлайн-практикум Customer Development, который стартует в мае. За 8 занятий вы протестируете идею продукта методом глубинных проблемных интервью на своей целевой аудитории и создадите продукт, который купят. Это полезное дополнение, как для стартаперов и начинающих менеджеров, так и продакт менеджеров с опытом. Ждем вас в OTUS!
Что такое продуктовые метрики и зачем они нужны
Зачем придумали метрики, какие они бывают и как упростить работу с ними — объясняем весьма запутанную тему просто и на примерах.
Чтобы создать приложение или сервис, одной идеи мало. Нужно измерять и анализировать показатели, исследовать реакцию пользователей и дорабатывать продукт. Для этого и придумали метрики.
Пишет про управление в Skillbox. Работала координатором проектов в Русском музее, писала для блога агентства CRM-маркетинга Out of Cloud.
Что такое метрики
Метрика — это качественный или количественный показатель, который отражает ту или иную характеристику и уровень успешности продукта.
Количественные показатели проще отслеживать, поэтому они используются чаще. На основании этих чисел можно делать выводы о том, что вообще происходит: нужен ли такой продукт пользователям, насколько он им нравится, решает ли их проблему. Например, вы создали приложение, которое сообщает автомобилистам о ситуации на дорогах. Кажется, что идея хорошая, продукт нужный, а люди всё никак не хотят им пользоваться. Как понять, в чём проблема? Что-то не так с идеей, а может, вы ошиблись с аудиторией или продвижением?
Метрики помогают ответить на эти и другие вопросы. Главное — знать, какие из них, как и когда использовать. Понять это не всегда просто, потому что на любой вопрос можно найти несколько ответов, а каждый полученный показатель — понять по-разному.
Чтобы вам было проще сориентироваться, мы объясним основные понятия и термины, покажем, как выбирают и используют метрики в компаниях, и расскажем, куда бежать, если хочется разобраться в этой теме глубже.
Какие метрики бывают и от чего зависят
Метрик много, их можно делить на разные категории. Например, бывают продуктовые, маркетинговые и бизнес-метрики.
А можно выделять тематические — по целям, которых они помогают достичь. Ниже — несколько примеров таких метрик.
Метрики привлечения пользователей
Они помогают понять, как и откуда в продукт приходят пользователи, сколько их всего, какие из них активные.
Метрики использования продукта
Сюда входят все показатели, которые демонстрируют, как люди пользуются продуктом, какие есть сценарии.
Это показатели, которые дают понять, сколько вы зарабатываете на продукте.
Любые метрики — это просто числа, которые сами по себе не дают важной информации. Чтобы от них была польза, все показатели нужно смотреть в динамике. То есть надо выбрать определённый период и проанализировать, как изменилась метрика за это время, что происходило с другими показателями и в чём может быть причина.
Метрики должны зависеть от целей бизнеса. Прежде чем выбирать, какие показатели измерять, подумайте, чего хотите достичь.
Например: получить прибыль, привлечь инвестиции, добиться лояльности пользователей. Во всех этих случаях вам понадобятся разные метрики.
Важно не только, какие метрики выбрать, но и как использовать полученные показатели. Есть два основных подхода, на которые ориентируются в продуктовой разработке:
Cначала получают цифры, а потом на их основе принимают решения. Команда выбирает метрики и считает показатели. Полученные числа — первое, на что они посмотрят, решая, куда двигаться дальше.
Метрики только частично влияют на принятые решения. Показатели — это важно, но не главное. На них можно ориентироваться в одном случае и не учитывать в другом.
Что такое Иерархия и Пирамида метрик
Иерархия и Пирамида метрик — это модели, которые помогают упорядочить показатели, определить зависимости между ними и лучше следить за изменениями.
Иерархия метрик — это древовидная структура или схема, во главе которой находится основная метрика продукта. Чтобы такую построить, нужно проанализировать данные и понять реальные зависимости между метриками. Например, подумать, что случится, если показатели будут слишком низкими или часто меняться, — насколько это повлияет на изначальную иерархию метрик.
Сергей Тихомиров определяет иерархию метрик как «формулу ценности продукта, выраженную в конкретных метриках». В блоге он объяснил, что это значит, на примере проекта LAF24.
Пирамида метрик — это, как и Иерархия метрик, инструмент для анализа показателей продукта. Чтобы правильно построить Пирамиду, нужно не только определить зависимости между метриками, но и классифицировать их по целям.
Елена Серёгина, аналитик и основатель DataLatte, определяет Пирамиду метрик как «иерархию и классификацию». В своём блоге на Medium она рассказала про обе модели и когда нужно и не нужно использовать Пирамиду метрик.
В компаниях Пирамиду и Иерархию метрик используют по-разному: вместе или отдельно друг от друга. Иногда их даже определяют как одну модель.
Например, в «Едадиле» используют модель Пирамиды метрик, но с древовидной структурой. В компании её строят для приложения в целом и отдельные пирамиды для функций, показатели по которым важно отслеживать.
Продуктовые и маркетинговые метрики: для чего нужны и в чём разница
Продуктовые метрики показывают, как работает и используется продукт. С их помощью можно понять, насколько ценят продукт сами пользователи, всё ли с ним хорошо или что-то не так.
Маркетинговые метрики показывают, как продукт продвигается на рынке. Поскольку это тоже относится к продукту, можно сказать, что маркетинговые метрики входят в состав продуктовых.
Маркетинговые метрики — объективные, легко измеримые, относятся к коммерции. Например, количество пользователей, которые зашли на сайт, — маркетинговая метрика.
В отличие от маркетинговых, продуктовые метрики сложно измерить. Не всегда понятно, от чего зависит счастье пользователя или как повлияет на людей определённая функция продукта, многих ли она затронет.
Например, когда в Apple захотели улучшить пользовательский опыт и решили отказаться от привычных USB-разъёмов и карт памяти в ноутбуках, сначала пользователи были недовольны. Им казалось, что продукт станет хуже, его будет неудобно использовать. То есть показатель «счастье пользователя» ухудшился.
Apple сознательно временно ухудшили восприятие своего продукта, потому что были уверены, что это пойдёт ему на пользу в долгосрочной перспективе. Так и случилось. Замена устаревших разъёмов на более современные USB-C и отказ от карт памяти сделали ноутбуки Apple более функциональными, а пользователи постепенно привыкли и оценили преимущества новых разъёмов.
Продуктовые метрики: как и когда использовать
Метрики помогают отличить субъективное от объективного и принимать решения, основываясь на реальных данных.
По сути, метрики — это просто цифры и данные, относящиеся к продуктам, источник информации о них. Метрики нужны для разных целей. Кто-то хочет проверить, как в целом идут дела, поэтому смотрит основные показатели. Кто-то хочет больше узнать о финансовых показателях или реакции пользователей — чтобы понять это, общих метрик будет недостаточно, нужно выбрать другие.
Вариантов использования метрик множество: они зависят от продукта, подхода, логики и даже фантазии продакт-менеджера или маркетолога. Сколько раз в год, как и в каких соотношениях измерять метрики — решают те, кто занимается продуктом.
Общая схема использования метрик:
Ниже мы собрали несколько примеров использования метрик.
Допустим, половина команды считает, что в интерфейсе приложения нужна красная кнопка, а половина — что зелёная. Чтобы получить реальные данные, а не принимать решение, основываясь только на предположениях команды, можно использовать сплит-тест: подготовить оба варианта, показать пользователям и понять, какая из кнопок реально решает задачу.
Вы создали мобильное приложение и хотите заняться его продвижением. С помощью метрик можно измерить результат какого-то действия и запланировать расходы. В таком случае метрика CAC или customer acquisition cost поможет понять, сколько стоит привлечь в приложение одного пользователя.
Чтобы правильно рассчитать этот показатель, нужно учитывать характеристики продукта и точно знать, кто и за что платит деньги. Например, в Dropbox пользователь покупает только PRO-версию продукта, а в Facebook платит за рекламу, поэтому формула расчёта CAC будет отличаться.
Вы выпустили приложение, его скачивают, но вы хотите понять, сколько вам платит каждый постоянный пользователь. Для этого нужно рассчитать LTV, или Lifetime Value продукта с помощью одного из методов или калькулятора от Ingate.
Как упростить работу с метриками: фреймворки для исследований
При работе с метриками, как мы уже сказали, возникает много вопросов. Какие и когда выбирать, как измерять, как анализировать? А как понять, что метрики подходят продукту, и вы не будете считать и сравнивать показатели, которые не дают никакой информации — или дают, но совсем не ту, которую важно знать для развития продукта?
Чтобы упростить работу с метриками, в крупных компаниях, например, в Google, используют фреймворки для проведения исследований. Это готовые методы, которые помогают измерять и анализировать показатели продукта. Вот некоторые из них.
HEART
Фреймворк HEART (Happiness, Engagement, Adoption, Retention и Task Success) был создан в Google и используется чаще всего в digital-сфере. Позволяет отслеживать опыт пользователя (для него часто используется обозначение UX, User Experience) по определенным категориям: счастье, вовлечённость, принятие, удержание, успех (выполнения задач).
В него не входят конкретные метрики, поэтому их придётся продумывать индивидуально. Это неслучайно, потому что для различных продуктов важны разные показатели.
Happiness Счастье | Отношение пользователя к продукту. Примеры метрик: удовлетворение пользователя, лёгкость использования продукта и др. |
Engagement Вовлечённость | Уровень заинтересованности в продукте. Начав пользоваться продуктом, пользователь продолжает это делать. Примеры метрик: частота визитов пользователя, длительность визитов и др. |
Adoption Принятие | Использование продукта постепенно становится привычкой: клиент пользуется различными функциями продукта, ждёт выхода новых и рассказывает о них друзьям. Примеры метрик: сколько пользователей ставят новую версию программы, количество новых подписок и др. |
Retention Удержание | Пользователь становится лояльным к продукту и возвращается к нему. Примеры метрик: количество повторных покупок, активность пользователя на протяжении некоторого времени и др. |
Task Success Успех | Успех ключевых задач. Это технические показатели, такие как эффективность, производительность и количество ошибок. Примеры метрик: скорость загрузки фото на сайт, успешный поиск информации и др. |
Чтобы узнать больше про HEART и понять, как он работает:
PULSE
Фреймворк PULSE (Page views, Uptime, Latency, Seven-day active users и Earnings) подходит для измерения и оценки показателей производительности. В отличие от HEART, он скорее про работу продукта, чем про пользовательский опыт, но, как и HEART, применяется в первую очередь в digital-сфере.
PULSE включает в себя конкретные показатели. С его помощью измеряют количество просмотров страниц, время безотказной работы сервиса, задержку в работе, количество активных пользователей, которые возвращаются на сайт в течение семи дней подряд, и заработанные деньги.
Больше информации о фреймворке PULSE:
Воронка AAARRR (или AARRR)
AAARRR — маркетинговая воронка основных этапов взаимодействия клиента с продуктом. Она нужна, чтобы разделить работу с пользователем на этапы и отслеживать показатели на каждом из них. Таких этапов может быть шесть, если начать с Awareness, информирования, или пять, если с Acquisition, привлечения (в зависимости от этого используется аббревиатура AAARRR либо AARRR).
Маркетинговая воронка помогает оценить успешность привлечения клиентов и монетизацию.
Awareness Информирование | Знакомство клиента с продуктом: например, он пришёл на сайт. |
Acquisition Привлечение | Клиенту стало интересно, и он оставил свои контакты. |
Activation Активация | Клиент понял ценность продукта и стал им пользоваться. |
Retention Удержание | Клиент постоянно пользуется продуктом. |
Referral Виральность | Клиент делится информацией о продукте. |
Revenue Доходность | Клиент платит за продукт. |
Чтобы лучше понять, что такое AAARRR:
Заключение
Как мы уже писали выше, метрики — тема столь же непростая, сколь и важная. Мы дали общие ориентиры, которые помогут вам не заблудиться между продуктовыми и маркетинговыми показателями, Пирамидой метрик и фреймворками. Но чтобы уверенно ими пользоваться, нужно более глубокое погружение в тему, доступ к опыту практиков и помощь наставника. Получить такую поддержку можно на нашем курсе «Управление продуктом».