что такое пилотная версия программы
Что такое пилотная версия программы
Пилотные проекты применяются для проверки новых идей. В контексте внедрения процесса и инструментов это означает апробирование новых процессов и новых инструментов.
Пилотным может быть любой из следующих проектов:
Первая полная итерация реального проекта разработки программного обеспечения, с одной лишь особенностью: основное внимание в ней уделяется изучению и оптимизации процесса, а не разработке программного обеспечения.
Еще один вариант заключается в том, чтобы выбрать один из планируемых проектов по разработке программного обеспечения, отличающихся низкими финансовыми и техническими рисками. Таким образом можно ограничить содержание проекта и сделать его пилотным.
Для получения максимальной отдачи от пилотного проекта необходимо выполнять его в реальной среде разработки и относиться к нему как к полноценному реальному проекту.
В выполнении пилотного проекта должны быть задействованы ключевые сотрудники, обладающие следующими характеристиками:
К ним прислушивается коллектив
Они могут выступать в роли кураторов
Их считают экспертами в определенной области
Довольно сложно дать конкретные рекомендации по продолжительности пилотных проектов и объему выделяемых ресурсов. Однако цифры, указанные ниже, были справедливы для многих пилотных проектов:
В проекте заняты менее 10 сотрудников
Приведем еще одно определение термина «пилотный проект»:
© Copyright IBM Corp. 1987, 2006. Все права защищены..
Что такое пилотный проект и где применяется
Любые нововведения плотно связаны с риском, чтобы избежать неудачи, большинство профессионалов пользуется пилотным проектом – это действенный способ, он помогает проверить перспективу на дальнейшее развитие задуманного. Не менее интересно разобраться во всех деталях приема, организацию всех моментов и применение в различных сферах деятельности. Пользоваться современными методами достаточно важно, ведь в случае провала можно понести существенные убытки. Подобное предварительное исследование может не только избавить от нерациональной траты средств, но и сберечь драгоценное время, которое придется потратить на устранение оплошностей. Внедрение масштабных изменений нельзя представить без такого действенного приема.
Применение метода на практике
Пилотный проект – это в первую очередь грамотный подход к реализации задуманного действия, если он потерпел неудачу, то внедрять в крупную отрасль разработанную схему не стоит. Это касается не только предприятий в список входят такие сферы как:
Это лишь несколько примеров, когда использование метода будет максимально оправданным. Предварительные испытания реально помогают избежать очень неприятных ситуаций, напрасной траты финансовых средств и времени. Чтобы реализовать проект и объективно оценить действенность мероприятия в состав команды, занимающейся подобной работой, должны входить только те люди, которые соответствуют демографической и социальной сфере. Для проведения повторной работы, набирают других участников, чтобы мнение не было размытым.
На производстве
Такое понятие, как пилотный проект изначально применялось именно в этой деятельности, у него было инженерное назначение. Как только новый товар был запущен в производство, его часть незамедлительно продавали, чтобы посмотреть спрос на продукцию такого плана, и стоит ли продолжать изготовление. От этих нюансов зависит целесообразность вложения финансовых средств, ведь суммы могут быть достаточно большими. Без ожидаемого результата дальнейшие траты будут тщетными, а оценку принято считать максимально объективной. Не менее часто такой прием используют для испытания удобства определенных социальных услуг.
Образование
Одним из хороших наглядных примеров будет пилотный проект, направленный на проверку введения в школы электронных пропусков. «Школьная карта» выдавалась каждому зарегистрированному школьнику, при посещении и сразу на выходе ребенок отмечался посредством современных технологий, на телефон родителям приходило уведомление о происходящем.
Педагоги полностью поддержали подобное нововведение, но школьники стали возмущаться излишним контролем и посягательством на личное время. После проведения исследований выносилось решение, стоит ли продолжать внедрение технологии в остальные учреждения. На процесс государство изначально выделило 15 миллионов рублей, что является хорошей суммой. Когда риск был сведен к «0», пропускные системы стали вводить в кружки дополнительного образования, деньги из бюджета небыли потрачены впустую, а все благодаря пилотному проекту.
Применение в ФСС
Прежде чем поддержать единогласно изменения, касающиеся выплат через отделения Фонда социального страхования, было проведено исследование рациональности грядущих изменений. Смысл затеи чиновников заключался в том, чтобы деньги поступали не через работодателей на счета, а от государства. Если работоспособные граждане не зарегистрированы в банках, то средства будут доставляться посредством почтовых переводов.
Учитывая практичность разработанного плана, пилотный проект подтвердил рациональность изменений. Работодатели также остались довольны, ведь оборотные средства экономятся, ситуации с мошенничеством от недоброжелателей были сведены к минимуму. После решения правительства такую систему выплат ввели в 10-ти регионах РФ.
Фармакология
Для смертельно больных людей разрабатывалось лекарство, но его тестирование было не завершено. Тогда компания, занимающаяся этим вопросом, решила провести пилотный проект по созданию комитета для назначения препаратов. Пользуясь историей такие шаги могли принести положительные результаты, ведь в 80-е годы именно лекарства, которые еще небыли одобрены для массовых производств спасали жизни людей, больных СПИДом.
На примере США можно сделать вывод о том, правильно ли было создавать комитет по таким вопросам. Ведь в истории американцев существует инцидент, когда не прошедшее испытаний лекарство было выпущено в продажу, а потом объявили, что оно закончилось. Наглядный пример указывает на опасения создателей препарата и фактическую нехватку, этих двух проблем можно было избежать. В специальный комитет будут входить такие личности как:
Важные моменты
Пилотные проекты используют давно, но польза от этих мероприятий остается под вопросом, в некоторых ситуациях без них не обойтись, а иногда это приводит к поступлению на рынок некачественных товаров. Метод развивается, но перспективы вплотную связаны с ресурсами среднего качества, о благоприятных условиях для осуществления исследований говорить рано. При недостаточном бюджете страны – это будет настоящим спасением, но потребуется объективная оценка результатов.
Берись и делай. Как стартапу запустить пилотный проект с корпорацией
Дмитрий Курин
Виды пилотных проектов
Спектр возможных результатов сотрудничества корпорации и стартапа очень широк, поэтому составить полную классификацию фактически невозможно. Но можно выделить несколько наиболее распространённых видов пилотных проектов.
Экономия затрат. В рамках таких пилотов запрос на решения стартапа состоит в том, что ваш продукт позволит корпорации снизить затраты на какой-либо ресурс. Это могут быть как трудочасы сотрудников, так и оплата услуг подрядчиков или другое.
Рост доходов. В рамках такого партнёрства корпорация использует продукт стартапа для предоставления клиентам новых возможностей или услуг, таким образом монетизируя клиентскую базу. Речь идёт о вариантах сотрудничества через White Label, когда продукт стартапа перерабатывается под бренд корпорации, или лидогенерацию, представляющую собой перенаправление клиентов корпорации на продукт стартапа. Здесь, как правило, речь идёт о разделении доходов между партнёрами.
Новые возможности. Для экономии как времени, так и средств на собственную разработку решения в периметре корпорации, нередко используются уже востребованные на рынке продукты стартапов. По сути, IT-решения являются частью одного конструктора, в который можно добавлять предоставляемые клиентам услуги и товары уже готовыми модулями — в зависимости от потребностей. На этот вариант, как правило, приходятся основные сделки по поглощению.
Кроме того, бывают специфические пилоты, когда, например, продукт стартапа нацелен на повышение комфорта сотрудников корпорации или улучшение экологических показателей. То есть запрос на ваше решение обязательно есть. Важно правильно определить, где именно и как оно будет применяться, а главное — какой результат партнёры будут считать успешным.
Формирование гипотезы и KPI при запуске пилота со стартапом
Пилотный проект имитирует будущее партнёрство. Поэтому важно, чтобы оба участника пилота — и стартап, и корпорация — понимали, что получат от совместной работы, если продолжат её. Не стоит пытаться показать все возможности своего продукта в ходе пилота или предлагать посмотреть «интересное решение».
Важно именно конкретное прикладное применение продукта стартапа в периметре корпорации. Иначе мы получаем успешный пилот с работающим продуктом, который плохо применим под задачи крупного игрока и в итоге не позволяет выйти на долгосрочное партнёрство.
Если пилот не будет имитировать будущее партнёрство, корпорация не сможет определиться с интеграцией вашего решения. Вы попросту останетесь недовольны сотрудничеством, так как потратите время впустую, даже не вынеся из сотрудничества возможности для улучшения своего продукта или новую задачу для его применения.
Во избежание таких проблем на старте пилотного проекта формулируется гипотеза, а также конкретный и измеримый KPI под неё. Это прозрачные для обоих сторон критерии того, какой результат будет считаться успехом и какую потенциальную выгоду продукт принесёт при внедрении.
Если описывать универсальную формулу, то она будет звучать так:
Допустим, ваш продукт по оптимизации поиска может помочь компании увеличить конверсию продаж в интернет-магазине. То есть рост конверсии — наша гипотеза. Теперь нужно сделать определённые шаги, чтобы её проверить — например, добавить семантический поиск товаров. Результат же будет считаться успешным, если конверсия пользователей в покупателей, использовавших поиск, вырастет с 1% до 2% в течение одного месяца относительно контрольной группы.
Или для проверки интереса клиентов корпорации к вашему продукту мы предположим, что он принесёт эффект в X рублей в ближайшие три года. Чтобы это проверить, корпорация ставит рекламу продукта партнёра в раздел «Предложения партнёров» на своём сайте и запускает рекламную кампанию в соцсетях на сумму Y рублей с редиректом на предложение партнёра на сайте корпорации. Гипотеза будет считаться подтверждённой, если за один месяц проверки продукт партнёра будет куплен на Z рублей.
Рассмотрим на более подробных примерах
Гипотеза: мы предполагаем, что сможем увеличить средний чек в интернет-магазине, внедрив рекомендации «С этим товаром покупают», которые будут появляться при переходе на карточку определённого товара.
Гипотеза будет считаться подтверждённой, если за два месяца покупатели, которым показываются рекомендации, купят в среднем на 10% больше, чем покупатели, которые этот блок не видели.
Гипотеза: мы предполагаем, что обучение сотрудников колл-центра на нём повысит уровень и качество подготовки, одновременно снизив затраты времени на кураторство стажёров. Для этого нужно провести обучение ста стажёров по два часа в течение трёх недель.
Гипотеза будет считаться подтверждённой, если оценка качества работы стажёра по балльной системе оценки после окончания обучения и недельной стажировки в колл-центре будет не ниже, чем показатели аналогичного тестирования стажёра, который работает в колл-центре уже месяц, но не тренировался на тренажёре.
Гипотеза: удалённый мониторинг позволит снизить затраты на бензин, а также уменьшить объём автопарка и количество водителей. Для этого нужно оборудовать датчиками 100 мусорных контейнеров и на два месяца предоставить платформу для их мониторинга сотрудникам оператора по обращению с отходами. На основе данных, полученных от датчиков, появляется возможность оптимизировать маршрут.
Если за этот срок средняя длина пути всего автопарка сократится на 20% относительно эталонной, гипотеза считается подтверждённой.
Ошибки при формировании гипотезы пилотных проектов
Чаще всего ошибочные гипотезы сводятся к двум базовым проблемам.
Речь идёт об отсутствии конкретного описания, как именно будет проводиться измерение. К примеру, в рамках гипотезы по обучению сотрудников колл-центра может быть задан такой KPI: «Сотрудник после обучения на тренажёре будет хорошо знать, как общаться с клиентами». Стоит ли говорить о расхождениях в оценке, что такое «хорошо» у вас и у корпорации? Тем более здесь даже не определено, кто будет давать эту оценку. Пилот проведён, а его результаты непонятны. Поэтому проверяйте, с чем в результате будут сравниваться итоги проекта.
Такие KPI могут быть поставлены под вопрос из-за сторонних факторов. Например, в случае датчиков для мусорных контейнеров и оптимизации движения транспорта может быть задан результат: «За два месяца проведения пилота корпорация снизит свои затраты на 10%». Несмотря на то что это вполне конкретный и осязаемый результат, за время пилота он может быть не достигнут из-за сторонних факторов.
Допустим, в этот период произошёл рост стоимости топлива — фактор, который не зависит от эффективности вашего решения. Таким образом, нужно анализировать, могут ли сторонние причины повлиять на значение вашего KPI. Если их много и они могут оказать значительное влияние на результат пилотируемого продукта, лучше отказаться от такого сотрудничества или настоять на изменении KPI.
Подытоживая, важно обращать внимание на чёткость формулировки и возможность проверки KPI, чтобы избежать двусмысленных толкований или ошибочных суждений.
Отрицательные результаты пилота
Даже если гипотеза не подтвердилась и по итогам пилотного проекта корпорация не видит смысла в продолжении сотрудничества с вами, некорректно говорить о пустой трате времени или денег. Если KPI были поставлены верно, то теперь вы можете проанализировать, не сработало ли ваше решение именно с этим кейсом или просто нужно доработать продукт.
В любом случае не нужно пытаться искусственно стремиться вытянуть результаты пилота или ждать этого от корпорации. На каждое решение найдётся свой партнёр или заказчик, и нужно принимать объективные результаты проведённой работы и извлекать урок, в том числе и из неподтвердившейся гипотезы.
Краткое руководство по проведению пилотов и PoC
Введение
За годы своей работы в области ИТ и в особенности в продажах ИТ видел много пилотных проектов, но большинство из них оканчивалось ничем при значительных расходах времени.
При этом, если мы говорим о тестировании железных решений, как например СХД, на каждую демо-систему обычно стоит еще и очередь чуть не на год вперед. А каждое тестирование в расписании может принести продажу или, напротив, продажу запороть. Ситуацию, в которой тестирование не влияет на продажу, рассматривать не имеет смысла, поскольку и тестирование не имеет смысла — это пустой расход времени и занятие демо-системы.
Итак, как же сделать все по уму и чтобы все случилось?
Подготовка
Цели пилота
С чего начинается пилот? Не с подключения оборудования в стойку, совсем нет. До начала любых работ с оборудованием идет работа с документами. И мы начинаем с определения целей пилота.
Цель пилота — устранение возражения со стороны конечного заказчика. Нет возражений — не нужен пилот. Да-да, именно так.
Но какие же основные классы возражений мы можем увидеть?
* Мы сомневаемся в надежности
* Мы сомневаемся в производительности
* Мы сомневаемся в масштабируемости
* Мы сомневаемся в совместимости и способности работать с нашими системами
* Мы не верим в ваши слайды и хотим убедиться на практике, что ваша система все это действительно умеет
* Это все будет очень сложно, наши инженеры и так загружены и им будет тяжело
Итого, в конечном итоге мы получаем три основных вида пилотного тестирования и как частный случай пилота, доказательство концепта (PoC – proof of concept):
* Нагрузочное тестирование (+ масштабируемость)
* Функциональное тестирование
* Тестирование отказоустойчивости
В конкретном случае, в зависимости от сомнений конкретного заказчика, в пилоте могут совмещаться разные цели, или напротив, присутствовать только одна из них.
Пилот начинается с документа, описывающего русским языком по белому – зачем проводится данное тестирование. Туда же включается в обязательном порядке набор измеримых критериев, позволяющих однозначно сказать – прошел пилот успешно или что конкретно было не пройдено. Измеримые критерии бывают числовыми (как например задержи в мс, IOPS) или бинарными (да/нет). Если в вашем пилоте присутствует неизмеряемая величина в качестве критерия – в пилоте нет смысла, это исключительно инструмент манипуляций.
Оборудование
Пилот может проводиться на демо-оборудовании вендора / дистрибьютора / партнера или на оборудовании заказчика. Строго говоря, разница небольшая, общий подход один и тот же.
Главный вопрос по оборудованию ДО начала пилота – полный ли комплект оборудования присутствует (включая коммутаторы, кабели передачи данных, кабели питания)? Готово ли оборудование к тестированию (правильные версии прошивок, все на поддержке, все лампочки зеленые)?
Правильная последовательность действий после определения целей тестирования – полная подготовка оборудования к тестированию ДО его передачи заказчику. Безусловно, есть лояльные заказчики без спешки, но это скорее исключение. Т.е. полный комплект должен быть собран на площадке партнера, все проверено и собрано. В обязательном порядке система должна быть запущена и вы должны убедиться, что все работает, софт разливается без ошибок, и тд. Казалось бы, ничего сложного, но 3 из 4 пилотов начинаются с поиска кабелей или трансиверов SFP.
Отдельно нужно подчеркнуть, что в рамках проверки демо-системы вы должны убедиться в ее чистоте. Все данные предыдущего тестирования должны быть удалены с системы в обязательном порядке перед передачей. Не исключено, что проходило тестирование на реальных данных, а там может быть все что угодно, и коммерческая тайна и персональные данные.
Программа тестирования
До передачи оборудования заказчику в обязательном порядке должна быть подготовлена программа тестирования, отвечающая целям тестирования. Каждый тест должен иметь измеримый результат и четкие критерии успеха.
Программа тестирования может быть подготовлена вендором, партнером, заказчиком или совместно – но обязательно ДО начала тестов. И в обязательном порядке заказчик должен подписаться, что его удовлетворяет данная программа.
В рамках подготовки к пилоту необходимо согласовать даты проведения пилота и присутствие всех необходимых лиц и их готовность к тестированию, как со стороны вендора / партнера, так и со стороны заказчика. О, сколько пилотов начиналось с ухода главного человека в пилоте у заказчика в отпуск на следующий день после монтажа оборудования!
Сферы ответственности / доступа
В программе пилота должны быть четко понятны и в идеале описаны сферы ответственности всех участвующих лиц. При необходимости согласован удаленный или физический доступ инженеров вендора / партнера к системам и данным заказчика со службой безопасности заказчика.
Пилот
Если мы выполнили все предыдущие пункты, то самая скучная часть – это сам пилот. Но он должен идти как по рельсам. Если нет, то значит была запорота часть подготовки.
Завершение пилота
При завершении пилота готовится документ по проведенному тестированию. В идеале со всеми тестами в программе с зеленой галочкой ПРОЙДЕНО. Возможна подготовка презентации для высшего руководства для принятия положительного решения о покупке или внесению в список разрешенных к закупке систем.
Если у вас на руках в конце пилота нет документа со списком выполненных тестов и отметками пройдено – пилот провален и его не надо было начинать вообще.
Пилотный
Пилотный (тестовый, показательный, предварительный) – небольшой по масштабу, экспериментальный (проект, эксперимент, процесс), осуществляемый в размере определенной выборки и с ограничением времени, с целью исследования, анализа перспектив и минимизации рисков.
Пилотный проект – проект, осуществляемый с целью оценки целесообразности, требуемого времени, затрат, наличия или отсутствия побочных явлений и оценки размера эффекта (статистической изменчивости). Зачастую, пилотный проект – предтеча и миниатюра большого проекта, используемый исключительно как средство оценки перспектив проекта. К практике пилотного проекта часто прибегают до старта полномасштабного проекта, рассчитанного на длительную перспективу и предполагающего большие инвестиционные затраты.
Цель пилотного проекта – минимизация рисков, сокращение времени и затрат на разработку и запуск масштабного проекта.
Пилотный маркетинг – тестирование комплекса маркетинга на части целевой аудитории (в узком отраслевом сегменте, нише, территории), проводимое с целью выработки рекомендации по коррекции комплекса маркетинга продукта (характеристики продукта, цены, условия работы с дилерами, продвижение) для повышения его конкурентоспособности. Во время выполнения пилотного маркетинга проводятся маркетинговые мероприятия и оцениваются перспективы продукта, с учетом влияния конкуренции и поведения посредников в маркетинговом канале.
Пилотный маркетинговый анализ – это сбор ключевой информации, которая характеризует ситуацию на конкретной и ограниченной территории рынка. Пилотный маркетинговый анализ проводится с целью оценки будущего полномасштабного анализа. В пилотный маркетинговый анализ обычно вовлекают лишь часть целевой аудитории, ограниченной территориально или сегментно группыпотребителей, но не тех, кто будет входить в состав окончательной выборки или целевой группы. Это важно, если вовлекаемая в пилотный проект группа потребителей может влиять на последующее поведение всей целевой группы.
Пилотные продажи – продажа небольшого количества, тестового продукта, ограниченные по времени и территориально. Плотные продажи проводятся с целью оценки реакции рынка на новинку, оценки того, как будет вести себя потребитель в отношении нового продукта.Часто в коммерческих проектах, пилотные продажи используются с целью первоначальной продажи продукта и обеспечения количественной и качественной доказательной базы наличия в проекте коммерческого потенциала. Пилотные продажи используются с целью снижения стоимости запуска полномасштабного проекта, так как пилотные продажи дешевле, чем полномасштабные продажи.
Пилотный эксперимент часто используется для проверки качества модели полномасштабного проекта, которая затем может быть скорректирована, что повысит шансы на достижение проектом запланированных показателей. Пилотный эксперимент помогает менеджменту изучить риски, сопряженные с полномасштабным внедрением предлагаемых изменений процесса, и получить согласие заинтересованных лиц, которые сначала увидят результаты улучшений в малом масштабе. Иногда пилотный эксперимент вскрывает неожиданные проблемы, подлежащие корректировке до полного внедрения решения.
Если пилотный эксперимент прошел успешно, т.е. если в результате обнаружились не только непредвиденные проблемы, но и неожиданные возможности (особенно связанные с разработкой, рынком или обслуживанием), то риск, связанный с изменением, не слишком высок.