задача
Опросить 1500 респондентов для СберУниверситета
решение
AI-бот от Infercom вместо классических опросов
выгода
Экономия n-миллионов рублей без потери качества
презентация кейса от основателя infercom на tgmarketingconf.ru / 25 минут / октябрь 2024
YouTube — https://youtu.be/qpYCJHVe7KQ
Яндекс.Диск — https://disk.yandex.ru/d/cZNP8HX69C9otAДля Сбера мы предоставили готовое решение на основе искусственного интеллекта, чтобы собрать и проанализировать ответы 1 600 респондентов. В статье рассказываем, как с помощью ИИ выжимать из глубинных интервью все и даже больше.
Цель исследования: понять, что думают преподаватели о текущих изменениях и как к ним адаптируются.
Для СберУниверситета это стало первым исследованием с технологией AI в Телеграм
Чтобы на данные можно было опираться и использовать для анализа, Сбер опрашивает большое количество людей. Так, в новом исследовании планировалось опросить 3 000 преподавателей российских вузов. Проведение такого масштабного кастдева от аналитиков обходится дорого — от 10 миллионов рублей. А мы предложили заказчику альтернативный вариант с использованием ИИ, который в 9 раз дешевле классического метода.
По итогам исследования СберУниверситет выпустили подробный отчёт: Большая перемена?
Сейчас мы находимся в историческом моменте, когда скорость изменений в мире и обществе постоянно нарастает. Организации высшего образования призваны стать лидерами адаптации. Они формируют будущее, задавая вектор развития молодым поколениям. Чтобы узнать больше о том, какие изменения в сфере российского высшего образования происходят сейчас и чего ожидать в перспективе ближайшего будущего, мы решили спросить тех, от кого это непосредственно зависит, а именно — преподавателей вузов.
Исследование сосредоточено на нескольких вопросах
Драйвер и барьеры. Что способствует и что препятствует работе преподавателей в сфере высшего образования?
Тренды в сфере высшего образования. Какие новые направления и подходы формируют образовательный ландшафт? Как меняются ожидания, потребности и навыки учащихся?
Стратегии и инструменты адаптации преподавателей. Как преподаватели реагируют на происходящие изменения и какие методы адаптации к ним используют?
скачать в PDFАрхитектура бота: как настроили ИИ-кастдев для Сбера
AI-бот в автоматическом режиме проводит опросы любых масштабов и умеет поддерживать диалог не хуже реального аналитика. Перед настройкой бота мы получили стартовые вопросы от Сбера, чтобы подготовить сценарий ведения опроса.
AI-бот задает респонденту семь открытых и пять закрытых вопросов. Участник может ответить голосовым или текстовым сообщением. Причем он может это сделать на 15 языках, и бот корректно обработает ответы.
После того, как респондент ввел ответ — ИИ переводит слова в список понятных тезисов. Это помогает расширить вводные данные, поддержать диалог и направить человека по кастдеву, задавая уточняющие вопросы. А еще — наладить коммуникацию с ботом и показать, что он понимает респондента не хуже человека.
Если участник хочет ответить — он снова может записать голосовое и текстовое сообщение. А если нет — нажимает на кнопку «Следующий вопрос».
На настройку бота и подготовку к запуску мы потратили всего две недели.
Уникальность разработки в том, что каждый ответ обрабатывается агентом, к которому написаны соответствующие промпты. Это позволяет боту выдавать релевантные ответы, находить дополнительные вопросы и получать максимально подробные данные.
Бот знает, какой вопрос задать, если респондент отклонился от темы или ответил слишком сжато
Опросы проводились в течение трех недель. За это время участники получали рассылку и постепенно переходили в бота. Та аудитория, которая забросила отвечать на середине — получала напоминание.
Чат-бот опрашивал респондентов. Затем ИИ изучал их ответы и выделял тенденции в образовательной среде.
Участники проходили опрос разными путями:
- Одни давали ответы на подготовленную анкету;
- Большинство — раскрывали мысли и бот таким образом продолжал диалог и получал больше подробной информации;
- Третьи проверяли бота на сообразительность, оставляя нерелевантные ответы. Но AI адекватно реагировал и продолжал возвращать участников к теме.
По итогам опроса бот автоматически заполнил таблицу матричных данных и выгрузил ее в формате CSV
Матричный вид данных удобен при анализе информации — так проще находить пересечения мыслей (тренды) и неочевидные моменты.
Пример неочевидного факта: мы обнаружили, что женщины в среднем дают более развернутые ответы, чем мужчины.
В таблице фиксируются ответы и обезличенные данные участников:
- Дата записи интервью
- ID пользователя
- Слова респондента в ответах на открытые вопросы
- Данные из закрытых вопросов
- Тезисы, которые определил AI
- Ссылка на аудио, если было отправлено голосовое сообщение
По данным из закрытых вопросов (пол, вид деятельности, специальность) можно сортировать когорты и изучать тенденции. А по открытым вопросам — фильтровать информацию, чтобы посмотреть конкретные ответы участников. Например, для поиска неочевидных вещей — берем колонку ответов, загружаем в бота, задаем ему вопрос на тему, что содержится в этих данных, и начинаем анализировать.
Дальнейшую валидацию ответов проводили эксперты СберУниверситета.
«Котик, ты просто чудо» — отзывы респондентов и качество интервью
Продуманная воронка позволяет привлечь респондентов к диалогу и активному участию в кастдеве. Мы подготовили рассылки, в которых подробно рассказали про цель исследования и бонус в конце опроса, а также предоставили возможность выбрать общение с AI-ботом или голосовым помощником.
Для чистоты эксперимента мы разделили участников на две когорты. 685 респондентов выбрали пройти интервью по телефону с голосовым роботом, а 915 человек предпочли использовать чат-бот.
Если сравнить сегмент, который выбрал идти через бота, с теми, кто отвечал по телефону, получим более детальные результаты.
А что с персональными данными?
Для начала разберем, что считается персональными данными для службы безопасности. Это не только имя пользователя и номер телефона, но и его голос. По законодательству РФ он считается биометрией.
Получается, что мы не можем отдать войс пользователя в облачные ChatGPT. Но когда мы обрабатываем голос на сервере INFERCOM в текст и загружаем его в нейросеть без пользовательских данных — это уже не считается персональными данными и СБ это пропускает.
На выходе ответ респондента не содержит прямой речи о том, как его зовут, где он живет и работает.
Для расшифровки голосовых сообщений мы используем модель с нашей собственной тонкой настройкой — Whisper. Это open source решение для транскрибации аудио в текст. Мы настроили модель Whisper, чтобы нейросеть распознавала любой из 15 добавленных языков и переводила запись на английский, а также принимала разные форматы аудиофайлов — OGG, OGA, WAV, MP3, MP4 + видео.
Полученные данные обрабатываются на лицензированных серверах в РФ, что соответствует законодательству по защите персональных данных.
INFERCOM состоит в реестре обработки персональных данных.
- 3 000 человек открыли письмо из рассылки и согласились пройти исследование. Из них 1 600 респондентов приняло участие в опросе.
- 915 участников использовали AI-бота, а 685 человек согласились пройти опрос по телефону (из них 30% дошли до конца).
- 113 000 слов собрано по итогам анализа. Это в 15-20 раз больше, чем при использовании классического метода с закрытыми вопросами.
- 600 человек, которые выбрали AI-бота, дошли до конца анкетирования.
- 762 пользователя ответили на первый вопрос чат-бота.
- 36% участников ответили на дополнительные вопросы ИИ-бота.
- +70 респондентов пришли после окончания исследования и прошли опрос.
- 10-фазный анализ — через такое количество проверок прошел анализ, включающий четыре этапа валидации.
- 150 факторов выделили эксперты СберУниверситета. Данные описывают текущее состояние образовательной среды и тенденции, которые наблюдают преподаватели.
- Участники отметили, что вести диалог с ботом можно до бесконечности — он каждый раз задает новый уточняющий вопрос и интересно выстраивает беседу.
Для Сбера это был первый тестовый запуск, заказчики исследования остались в восторге и планируют применить наше решение в других проектах. Также мы получили запрос на внедрение бота в архитектуру СберУниверситета.
Главный результат — экономия времени и денег без потери качества.
Стоимость нашего AI-бота обошлась Сберу примерно в 9 раз дешевле, чем классический опрос, а нужная информация получена в 6 раз быстрее
Классический кастдев или нейроинтервьюер?
На примере СберУниверситета мы доказали, что бот на основе искусственного интеллекта не уступает в качестве стандартным опросам и при этом экономит миллионы на бюджете исследований.
Для тех, кто как и лидеры рынка готов внедрять актуальные технологии и получать эффект в виде экономии и автоматизации рутинных задач.
Для наших читателей тестовый запуск бота — от 196 000 рублей
В эту сумму входит 10 открытых и 5 закрытых вопросов без изменений в архитектуре. Запуск в сроки от 2 недель.
Кроме исследований, бота можно подключить для HR, аналитики в отделе продаж и других задач.
Оставьте заявку, и мы вышлем вам презентацию по боту с другими кейсами внедрения, а также расскажем, как проходит процесс внедрения.