Этим летом на меня снизошло озарение. Я, наконец, прочел книгу Eric Ries «The Lean Startup» и убедился, что это правильный путь для запуска не только стартапов, но и авторитетных компаний. Вот хороший обзор Lean Startup для тех, кто еще не просветлен. Моя долгая история любви/ненависти к метрикам. С одной стороны, статистика нужна мне во всем, так как она (обычно) не обманывает. С другой стороны, в бизнес-среде показатели, которые мы выбрали для своих расчетов, иногда слишком расплывчаты или сосредоточены только на выручке. Предполагается, что статистика направлена на стимулирование достижения результатов, но зачастую это не так, статистические данные о популярности веб-ресурса остаются просто статистикой. Вдобавок Ries в своем заключении пишет «мы должны избавиться от стереотипа, что наука подразумевает формулы». После пары дней погружения в Lean методы, я взялся за составление новой метрики для Lean Startup. Главная концепция Lean Startup — это цикл «Создаём–Измеряем–Обучаемся»: соответствие продукта требованиям рынка возможно в том случае, если компания постоянно собирает отзывы реальных потребителей. Чем быстрее вы учитесь и подстраиваете свое виденье под нужды и желания рынка, тем больше ваши шансы на успех. Это и есть основа Lean Productivity Value (LPV) (производительная ценность Lean — прим. пер). Я разделил исследование на три главы:

  • Расчет производительной ценности Lean
  • Изучение производительной ценности Lean
  • Выводы и будущие идеи

Сперва, я объясню, как вычислить производительную ценность Lean. Затем я объясню, как LPV помогает выйти на результат. В заключении, я поделюсь своими соображениями насчет того, как использовать LPV, так же укажу и на то, что еще предстоит изучить. Я применю такие понятия, как воронка, метод когорт, конверсия и KPI. Если вам неизвестны три эти концепции, перейдите по прикрепленным ссылкам.

Расчёт производительной ценности Lean

Формула для расчёта производительной ценности Lean: LPV=η∗ΔV Она состоит из двух отдельных частей: эффективность и ценность. Для начала мы рассчитываем, насколько эффективно компания может создавать и тестировать свои гипотезы (включая построение этих гипотез и расчет эффекта). Затем мы вычислим эффект от внедренных изменений. Умножая эти два показателя, мы получаем производительную ценность Lean.

Эффективность, η

Если говорить проще, эффективность рассчитывается, как отношение выходной мощности к входной мощности.* Я вычислил, что для производительной ценности Lean, выходная мощность — это число удачно проведенных исследований на количество потраченных календарных дней. Схоже с понятием velocity в гибкой методологии разработки. В качестве издержек могут выступать время или деньги. В примере, приведенном ниже, я использовал человеко-часы.

Тестирование

Тестирование — результат Lean Learning Machine. Это полный круг в цикле «Создаём–Измеряем–Обучаемся», где гипотеза определена, внедрена и успешно рассчитана. Я напишу немного более подробно, что представляет собой успешное исследование в следующих статьях.

Количество календарных дней

Чем быстрее вы учитесь, тем лучше. Мы рассчитываем, сколько исследований, направленных на изучение потребителя, может осуществить организация в календарном периоде.

Затраты

В примерах я использую человеко-часы в качестве издержек. При другом подходе, возможно использовать денежный эквивалент. Таким образом, чтобы найти эффективность нужно поделить возможное количество успешных исследований в календарном периоде на издержки. Многие компании могут осуществить огромное количество исследований, но потребуется дополнительная рабочая сила. Эффективные компании могут справиться с тем же самым при малом числе сотрудников.

Ценность, ΔV

Оставшаяся половина формулы производительной ценности Lean — изменение величины ценности. В данном контексте ценность означает качественную связь с клиентом, которая измеряется в соответствии с изменением уровня конверсии и KPI между когортами. Это позволит нам понять, действительно ли проводимые исследования приносят бизнесу пользу.  где b = когорта, с которой мы сравниваем

ΔC, конверсия

Сумма относительных изменений конверсии определяется между когортами. Если исследование затрагивает большое количество уровней воронки, мы рассчитываем сумму этих изменений.

ΔKPI

Относительное изменение конечного значения воронки. Мы рассчитываем сумму относительных изменений для каждого конверсионного значения, так же как и изменение конечного показателя KPI. Если общая сумма отрицательная, то и в LPV минус. Это означает, что положительное влияние конверсии может нивелировать негативное влияние на KPI, и наоборот. В любом случае LPV вероятно будет очень низкой, и это должно вызвать подозрения и привести к определенным выводам. Давайте представим некую компанию, чтобы использовать нашу формулу на практике. Назовем ее Food.io. Это относительно новая стартап компания, старающаяся подобрать правильные ингредиенты успеха так, чтобы продукт соответствовал требованиям рынка. Компания запустила соц. сайт для гурманов, для роста которого, от клиентов требуется высокая лояльность и высокая степень вовлеченности в продукт. В примере мы имеем четырёхъярусную воронку:

  • Регистрация пользователей
  • Пользователи, проводящие на сайте от 15 минут или более/день
  • Пользователи, создающие контент
  • Пользователи, приглашающие друзей

Единица измерения — количество людей. Конечная цель компании на данный момент — увеличить число очень заинтересованных пользователей. Компания измеряет успех своих действий при помощи проводимого еженедельного когортого-анализа. Каждая гипотеза проверяется в учебно-экспериментальной среде в течение недели, где может быть произведено не более одного изменения в любой момент времени. В 1ю неделю наша воронка выглядит следующим образом:  Конверсия — процентное соотношение количества пользователей, совершивших желаемые действия, к тому, какого уровня охвата достигла аудитория. В нашем примере 12% пользователей, которые посещают сайт, зарегистрированы. Воронка приводит нас к KPI. В нашем случае — это количество зарегистрированных пользователей, проводящих более 15-ти минут на сайте в день и создающих определенный контент (например, оставляющих комментарии). А сейчас, давайте подставим цифры в наш традиционный цикл «Создаём–Измеряем–Обучаемся». Наша гипотеза заключается в том, что, открывая доступ к регистрации через Facebook, мы можем повысить процент конверсии. Все запустить можно будет за неделю, а подготовка займет 5 человеко-дней. Мы будем собирать данные по исследованию в течение следующей недели.  После двух недель с того момента, как была предложена первоначальная гипотеза, уже готовы результаты. Наша конверсия возросла на весомые 4% . KPI увеличилось с 1 200 до 1 300. Поэтому  Для наглядности, давайте умножим на 1 000. LPV=5.952380952 Теперь наши когорты выглядят следующим образом:  Очевидно, что сами по себе числа ни о чем не говорят нам, но мы будем использовать их в качестве основы для дальнейших исследований. Давайте проведем еще одно исследование. Так как опыт с Facebook оказался успешным, мы добавим возможность зарегистрироваться через Google+. На этот раз конверсия когорт увеличилась всего на 1%. Аналогично KPI улучшилось только на 80 баллов, благодаря новым пользователям с высоким уровнем заинтересованности. Тем не менее, так как мы уже знаем об особенностях системы регистрации через соц. сети, то воплотить данное исследование удастся гораздо быстрее. Потребуется 2 человеко-дня и 3 дня в общей сложности, чтобы все завершить. Опять же, мы проводим исследование в течение недели, с целью собрать всю нужную информацию. Стоит отметить, что теперь мы сравниваем когорты 2 и 3. Кроме того, обратите внимание, что мы предполагаем отсутствие изменений со стороны внешней среды (например, компания не проводит никаких маркетинговых кампаний). В свою очередь, Split-тестирование должно применяться в реальных условиях.  Хотя уровень вовлеченности клиентов не сильно возрос, теперь мы смогли выявить это гораздо раньше. Поэтому LPV приблизительно такая же (и даже чуть выше), что и в первом эксперименте. Наши когорты сейчас выглядят следующим образом:  Наконец, давайте проведем еще одно исследование. На этот раз — это история большого успеха. Если оставить выделенные комментарии к странице с рецептом, то количество пользователей желающих что-либо написать увеличится на 5%. Так же наш KPI возрастет на 200 баллов. Более того, подобные изменения можно осуществить, если воспользоваться плагином авто комментирования, на что уйдет 2 дня, а издержки составят всего 2 человеко-дня. И снова исследование продлится неделю.  Теперь мы видим, что быстрореализуемые обновления, которые улучшают статистику по клиенту, набирают максимум баллов. Окончательный вид наших когорт:  Производительная ценность Lean увеличивается по экспоненте. Чем эффективнее в компании процесс создания и запуска плодотворных исследований по выработке гипотез, тем выше LPV.

Использование производительной ценности Lean в рамках процесса обучения

Для Lean стартапа надо заучить, как мантру — startup никогда не прекращает учиться. ABL вместо ABC. Производительная ценность Lean предоставляет нам инструмент для оценки жизнеспособности различных гипотез. Есть два момента, на которые стоит обратить внимание, когда вы проводит анализ LPV. Абсолютная ценность Чем выше показатель, тем больше изменение ценности по сравнению с затраченными усилиями. Если число большое, то значит, вы сделали что-то существенное. Если число очень маленькое, стремится к 0, то вы потратили слишком много времени на разработку чего-то малоценного. Плюс или минус LPV отрицательная, если потребительские свойства стали хуже, чем были до начала эксперимента. В этом случае либо уровень конверсии, либо KPI или же оба показателя уменьшатся. В противном случае значение будет положительным. Однако помните, −10, как правило, лучше, чем 0,00000001. 0,00000001 означает полный провал. Если ценность очень высока и ее значение положительное, как в нашем 3-м исследовании, компания может заказать пива и отпраздновать, а так же внедрить больше таких улучшений. Если ценность имеет отрицательное значение и очень низкая, то команда может вздохнуть с облегчением. Вы только что избежали растраты драгоценных ресурсов на развитие, которое очевидно не принесло бы никакой пользы. Если ценность близка к 0, стоит поразмыслить над эффективностью. Вы внедряете проект слишком медленно? Масштабы слишком велики? В независимости от того, какова LPV, организация должна проанализировать причины, лежащие в основе полученных значений. Например, 5 почему — отличный инструмент для этих целей.

Непрерывная оценка

Нельзя судить по первому полученному результату LPV. Одно значение производительной ценности Lean само по себе не оценивают. Компания может делать какие-то выводы, только когда есть постоянный мониторинг. Сейчас, когда у нас на руках вся информация, полученная в ходе эксперимента, мы можем говорить об успешности нашей деятельности.  Как мы видим, первые два исследования были хороши. Мы получили высокую ценность, несмотря на относительно небольшой объём проделанной работы. Третье исследование было супер. Подобная ситуация похожа на низко висящие на дереве фрукты, которые легко сорвать, но не может быть всегда так. Требуется больше усилий, чтобы достать плоды с верхушки, при этом эффективность пострадает первой. Здесь нас настигает закон убывающей предельной производительности. Данный график еще не подтвержден мной на практике, но по моим подсчетам в долгосрочном периоде LPV продукта будет выглядеть следующим образом:  Аналогично мы можем рассчитать текущую LPV для Food.io за отведенное время.  Отслеживание значений LPV по каждому продукту, дает организации возможность быстро выяснить, какие действия предпочтительны, а какие нет. Компания должна нацелиться на максимальную LPV. LPV — движущаяся, изначально очень высоко расположенная и труднодоступная цель. Со временем ее уровень может снижаться. Воронка, подойдя к концу жизненного цикла продукта, опустеет, но вероятно к тому времени компания обзаведется новым продуктом, который будет поставлен на поток. Существует множество путей улучшения производительной ценности Lean. Вы можете укоротить цикл «Создаём–Измеряем–Обучаемся», усовершенствовав рабочий процесс. Вы можете уменьшить срок проведения исследований, увеличив поток пользователей: масштабность ускоряет процесс исследования. Вы просто можете параллельно запустить больше исследований в учебно-экспериментальной среде (проводится только одно исследование на когорту за раз). В конце, вы научитесь выдвигать более эффективные гипотезы, результатом которых будет высокая ценность.

Итоги

Производительная ценность Lean определяет, насколько эффективно организация способна развивать свой продукт за счет увеличения качества связи с клиентом. Таким образом, у нас появляется понимание — на правильном ли мы пути, соответствует ли продукт рынку. Вычислив текущую LPV, мы можем оценить способность компании непрерывно обучаться. Внедряя LPV, вы наверняка столкнетесь с подобными вопросами: «Какова наша воронка?» и «Каков наш главный KPI?». В этом-то и дело. Мы не создали Еще-Одну-Метрику, мы создали инструмент, который заставит вас задуматься над вашими первостепенными целями: как сформировать ценность продукта для клиента, как сделать это максимально эффективно. Я участвовал во многих проектах, в которых не было ясной цели, и требовались месяцы, чтобы завершить их. Решения, связанные с дизайном, основаны на индивидуальных предпочтениях, а стратегия продукта базируется на следующем утверждении «все кого я знаю, делают так» и т.д. Я так поступал, возможно, вы так поступали. Но вы знаете, что делать. Иногда решения могут быть правильны, иногда нет, однако, зачастую, нет способа это проверить. Я рассчитал LPV для таких проектов и да, метод пока что не очень. Все же главная моя награда коммуникации. LPV переводит разговоры от мнений к фактам. К примеру, анализ причин, лежащих в основе LPV и метод «5 почему» помогут выработать определенные решения. Это и есть суть Lean стартапа, суть Производительной ценности Lean. В данной статье я сконцентрировался исключительно на LPV, опустив много связанных с ней вопросов. Интересные темы дальнейшего обучения включают правильный выбор воронки, KPI метрику и сопоставимость когорт. Выбор правильной гипотезы — еще один предмет разговора, я напишу об этом позже. Это мой MVP в разрезе Производительной ценности Lean. Как говорят, еще не время сматывать удочки. Как вы думаете? * Как я пришел к подобной мысли об эффективности? Просто представил, что организация — двигатель. Мощный запуск двигателя может производить множество проб в течение короткого времени. Входная мощность — сочетание стоимости рабочей силы и других производственных затрат. Таким образом, Lean — это двигатель, который потребляет чужое время и сырье, и позволяет определить: какие нововведения принесут пользу. Затем я осознал, что с подобной задачей люди уже справились в плане механических и электронных систем, поэтому я доверился своему предчувствию. У меня была куча вкладок открытых на P = UI, п = P1 / P2 и подобном, и благодаря этому, я вывел уравнение довольно быстро.