Как мы измеряли удовлетворённость и как что-то пошло не так

Вдохновившись идеями библиотеки ITIL решил попробовать внедрить у себя систему оценок, которую пользователи ставят за выполнение обращений в службу технической поддержки. После недолгих манипуляций с нашей ServiceDesk системой запилили функционал. Разослали пользователям инструкции о том как выставлять оценки, подкреплённые просьбой выставлять оценки за закрытые задачи. Но что-то пошло не так…

Для начала о самой системе. После закрытия обращения пользователю приходит письмо с четырьмя ссылками. Три из них для выполнения оценки, четвёртая – для отклонения если задача не выполнена. Оценка «Отлично» должна быть выставлена если замечаний нет совсем. «Хорошо» — если задача выполнена, но возможно не в срок, не с требуемым качеством или не с первого раза. «Плохо» — если задача выполнена, но в процессе были допущены грубые ошибки, повлиявшие на работу пользователя.

Выглядит просто, но:

1. Оценки ставит чуть более трети пользователей. Максимальный результат в 43% был получен в первый месяц после запуска системы. Мировой опыт и данные исследований (см. исследования Аале Рооса, например) показывают, что если пользователь не ставит оценку – значит он не доволен, и мало того, не верит в возможные улучшения;
2. Ни один пользователь за всё время не пояснил почему его оценка не «отлично»;
3. Нашлось несколько пользователей которые ставили «Хорошо» просто так, даже если всё было выполнено в срок и качественно. На просьбу пояснить за оценку отвечают стандартное «ничего отличного, это просто ваша работа»;
4. Повально все (абсолютно все) напрочь игнорируют ссылку «отклонить без оценки» и лепят оценку «Плохо» в надежде что кто-то поймёт, что на самом деле их задача не выполнена. И задача висит не выполненная ещё месяц-три-пять, пока недовольный пользователь не пожалуется лично начальнику техподдержки что его запрос не выполнен;
5. Примерно 20% всех оценок «плохо» были выставлены случайно. Не знаю, как можно было промахнуться ссылками, но каждый месяц регулярно чистим такие несправедливые оценки;
6. Подавляющее большинство всех оценок «плохо» появляются по причине некорректной постановки задачи. Пользователь не способен корректно изложить свои требования, что приводит к тому что исполнитель делает ровно то, что написано в заявке, а заказчик хотел совсем не то. Иногда даже диаметрально противоположное. Лидер хитрапада – «а я думал(а) вы сами поймёте, что я хотел(а)»
7. Часть оценок – глубоко субъективна. И плохое настроение пользователя (или отношение к исполнителю) влияет на выставляемые оценки.

Сейчас будем менять систему, попробуем поработать с бинарной системой (лайк \ дизлайк) для разрешения коллизии выбора между «Отлично» и «Хорошо», оптимизировать сам текст сообщения или вешать задачи на пользователя для получения релевантной выборки. О результатах эксперимента расскажу, когда будут получена мало-мальски значимая статистика.