Как защитить результаты исследования, чтобы рекомендации внедрили

Исследование закончено. На презентации все соглашаются, благодарят за работу и продолжают делать то, что планировали до него. Отчёт ложится в папку на общем диске.

Так заканчиваются исследования, в которые не встроили ответ на вопрос «что делать». Качество интервью и анализа здесь почти ни при чём.

В «Фабрике Гипотез» мы начинаем проекты с листа постановки задачи и решения, которое зависит от результата. Так в 2022 году исследование для сервиса Unit закончилось решением: компания не стала вкладывать 30 млн рублей в продукт, который рынку оказался не нужен.

В статье — семь принципов, структура отчёта, по которому принимают решения, и ответы на три частых возражения.

Причины почти всегда в том, как исследование поставили и как подали.

• Исследование не привязано к решению. Команда не понимает, что именно зависит от результата. Любой вывод звучит интересно и ни к чему не обязывает.
• Заказчики узнают о выводах в конце. Люди охотнее защищают то, в чём участвовали. Если бизнес впервые слышит находки на финальной презентации, он встречает их как чужие.
• Факты без истории. Сорок слайдов с цитатами не складываются в решение в голове слушателя.
• Нет ответа на «и что?». Команда показывает, что обнаружила, и не показывает, что с этим делать.
• Рекомендации без владельца. «Рекомендуем рассмотреть возможность улучшить онбординг» не внедрит никто: это ничья задача.

Каждую причину можно закрыть заранее. Покажем семь принципов на условном примере: сервис онлайн-бухгалтерии для ИП провёл 10 интервью о том, почему новые пользователи бросают настройку в первый день.

Внедрение начинается на постановке задачи. Перед стартом соберите тех, кто будет принимать решение, и спросите: какое решение вы примете по результатам и при каком выводе оно изменится?

Так исследование привязывается к реальному решению. Заказчик заранее соглашается учесть результат, а от собственного вопроса отмахнуться труднее. Сомнения заказчиков вы узнаёте до того, как они станут возражениями на финальной встрече.

Эрика Холл, автор книги Just Enough Research, советует решать то, что произойдёт в конце исследования, ещё на его старте (из записи её вебинара).

В «Фабрике Гипотез» для этого служит лист постановки задачи — Problem Statement Worksheet из практики стратегического консалтинга. Один из его разделов — заинтересованные стороны: кто решает, кто помогает, кто может заблокировать. Если раздел пропустить, в конце проекта появляется человек, которого не спросили, и работу переделывают.

В сервисе бухгалтерии решение звучит так: переделываем ли настройку до запуска рекламы в январе. Решает руководитель продукта. Бюджет на переделку согласует финансовый директор, поэтому его зовут на постановку задачи.

Бывает, что конкретного решения нет: например, в разведке нового рынка. Тогда договоритесь, на какие вопросы исследование должно ответить и кто будет пользоваться ответами.

Слабый отчёт отвечает на вопрос «что мы узнали». Сильный — на вопрос «что нам теперь делать».

Начинайте с решения. Вот решение, которое стоит перед командой. Вот что показало исследование. Вот что из этого следует сделать. Находки нужны как опора под рекомендацию. Если вывод не меняет ни одного решения, перенесите его в приложение: на встрече он размывает фокус.

Отчёт сервиса бухгалтерии открывается вопросом «Переделывать ли настройку до января?» и ответом «Да, первые три экрана». Слайд «Методология: 10 интервью» уходит в приложение: его откроют, когда появятся вопросы к выборке.

С командой Unit мы сверялись каждую неделю. Когда выяснилось, что онбординг и контроль исполнителей никому не нужны, мы сразу убрали их из плана и сосредоточились на найме и поиске исполнителей. Исследование закончилось решением: Unit остался в строительстве и не стал вкладывать 30 млн рублей в продукт для всех отраслей. Подробно — в статье «Чуть не слили 30 млн рублей…».

Отчёт, по которому действуют, построен как история: проблема или противоречие в данных, понимание того, что за ними стоит, и развязка — что делать.

Фрагмент записи, где клиент своими словами описывает проблему, слушают иначе, чем слайд с процентами: за цифрой появляется человек. Для сервиса бухгалтерии это полминуты разговора, где пользовательница рассказывает, на каком шаге закрыла настройку и почему.

Записи и цитаты показывают только с согласия респондента и без данных, по которым его можно узнать. Об этом договариваются при приглашении на интервью.

Три ясных вывода, по которым начнут действовать, ценнее пятнадцати, которые забудут на выходе из переговорной.

Доверие к исследованию рушится, когда слушатель не понимает, где данные, а где мнение исследователя. В отчёте, по которому действуют, три слоя разделены явно.

• Факт — что сказали и сделали респонденты. В примере: 7 из 10 собеседников бросили настройку на шаге с реквизитами банка (цифры условные). Факт не обсуждают.
• Интерпретация — как исследователь объясняет факт. В примере: в момент регистрации реквизитов под рукой нет, многие регистрируются с телефона. Здесь возможны варианты, и их честно называют.
• Рекомендация — что делать. В примере: перенести шаг с реквизитами после первого отчёта. Это предмет обсуждения с командой.

К каждому выводу приложите уровень уверенности: где база сильная, а где гипотеза, которую нужно проверить. Честно названные слабые места защищают остальные выводы: их уже не опровергнуть одним вопросом о выборке.

Вывод «пользователям непонятна настройка» легко отложить. Тот же вывод в цифрах отложить труднее: «Настройку бросают 60 % новых пользователей. Это 600 регистраций в месяц, которые не доходят до оплаты» (цифры условные).

Цифру берите из аналитики продукта, а не из интервью. «7 из 10 собеседников» — не доля всех пользователей: интервью показывают причину, аналитика — масштаб.

Не каждый вывод можно оцифровать, и подгонять цифры нельзя. Там, где связь с метрикой реальна, покажите её. Так исследование из категории «интересно» переходит в категорию «дорого не делать».

Рекомендация без ответственного — пожелание. Сравните две формулировки.

«Рекомендуем улучшить онбординг».

«Переносим шаг с реквизитами на после первого отчёта. Владелец — продакт онбординга. Смотрим долю завершивших настройку через месяц».

Вторую внедряют: у неё есть действие, владелец и способ проверить результат. Отчёт заканчивается списком решений: что делаем, кто отвечает, когда смотрим эффект. Согласуйте его прямо на встрече, пока все в комнате.

Если владельца на встрече нет, не назначайте рекомендацию за него. Согласуйте после встречи и разошлите итог письмом в тот же день.

Часть рекомендаций становится актуальной через месяцы. Если к этому времени вывод похоронен в презентации, его покупают заново, новым исследованием.

Поможет репозиторий исследований: выводы хранятся отдельными находками с тегами, продуктом и ссылкой на расшифровку. Так устроен, например, Polaris — репозиторий исследований WeWork, который описал Томер Шарон в 2017 году. Каждая находка в нём — наблюдение, подтверждение в виде записи или фото и теги. Когда у команды появляется вопрос, ответ из прошлого исследования находят за минуту.

Маленькой команде хватит таблицы: находка, на чём основана, дата, тег, ссылка на источник.

Шесть блоков в таком порядке:

1. Решение. Какой вопрос стоит перед командой и почему он важен сейчас.
2. Главный вывод. Одно предложение.
3. Доказательства. Два-три факта и голос клиента.
4. Что это значит. Интерпретация и влияние на метрику или деньги.
5. Рекомендации. Действие, владелец, срок, метрика.
6. Уровень уверенности. Где база сильная, а где гипотеза для проверки.

Разница между ними закладывается задолго до презентации — на старте исследования.

«Это и так было понятно». Покажите гипотезы, которые были у команды до исследования: обычно их несколько, и исследование выбрало одну. Задним числом любой вывод кажется очевидным: психологи называют это эффектом ретроспективного искажения (Фишхофф, 1975). Чтобы этот довод был под рукой, запишите гипотезы команды до старта.

«Выборка слишком маленькая». Глубинные интервью отвечают на вопрос «почему» и не измеряют доли. Для понимания причин хватает 6–8 интервью на сегмент: в исследовании Guest, Bunce и Johnson (2006) насыщение наступило в первых 12 интервью, а основа главных тем появилась уже в первых шести. Если сегмент разнородный, серию расширяют до 12.

«Это не репрезентативно». Согласитесь: интервью не претендуют измерить долю, они показывают механизм. Если нужна оценка распространённости, её добирают опросом. Признать границы метода надёжнее, чем спорить о них.

Начинать с методологии. Хочется показать качество работы. Цена — к выводам доходят к концу встречи, когда у руководителя осталось пять минут.

Отправить отчёт письмом вместо встречи. Кажется, что так экономнее. Цена — файл открывают через неделю или не открывают вовсе, решения не приняты.

Прятать слабые места. Страшно потерять доверие. Цена — первый же вопрос о выборке подрывает доверие ко всему отчёту.

Предлагать план чужой команде без её владельца. Исследователю видно, что делать. Цена — продакт впервые слышит план для своей команды на общей встрече и начинает его защищать.

Когда подключать заказчиков к исследованию?
До старта, на постановке задачи. Люди охотнее защищают то, в чём участвовали. Если бизнес впервые слышит выводы на финале, он встречает их как чужие и оспаривает.

Сколько выводов выносить на презентацию?
Столько, сколько решений от них зависит. Обычно хватает трёх, остальное уходит в приложение.

Что делать, если данные противоречат мнению руководителя?
Разделить слои: факт не оспаривается, обсуждается интерпретация. Показать запись разговора с клиентом. Спор мнений проигрывает живому голосу клиента.

Нужен ли репозиторий маленькой команде?
Да, в простой форме. Таблица с находками, тегами и ссылками на источник экономит недели и не даёт заказывать заново то, что уже выяснили.

Кто должен представлять результаты — исследователь или продакт?
Лучше вместе. Исследователь отвечает за факты и уровень уверенности, продакт — за рекомендации и план. Так у рекомендаций сразу появляется владелец.

Если исследование впереди, сделайте три вещи до старта.

1. Запишите решение, которое от него зависит, и результат, при котором решение изменится.
2. Перечислите, кто решает, кто помогает и кто может заблокировать. Позовите их на постановку задачи.
3. Назначьте встречу по результатам заранее. Рассылка отчёта её не заменит.

Если исследование уже лежит на полке, вернитесь к нему с вопросом: какое решение сегодня от него зависит?

Мы в «Фабрике Гипотез» начинаем проекты с постановки задачи и решения, которое от них зависит. Если хотите, чтобы следующее исследование закончилось решениями, оставьте заявку на странице CustDev и глубинных интервью.