Как прошел первый совместный хакатон по ИИ НИУ ВШЭ и «Школы 21»
Нижегородский кампус НИУ ВШЭ и «Школа 21» провели первое совместное мероприятие – хакатон по искусственному интеллекту. В течение двух дней команды студентов и молодых ИТ-специалистов работали над разработкой решений для чат-бота. Виртуальный собеседник создается в рамках стратегического проекта «ИИ-сотрудник учебного офиса» в НИУ ВШЭ – Нижний Новгород.
© пресс-служба НИУ ВШЭ – Нижний Новгород
Старт хакатону был дан после подписания соглашения между нижегородской Вышкой и «Школой 21» в Нижнем Новгороде – школой цифровых технологий от Сбера. Документ подписали директор нижегородского кампуса «Школы 21» Александр Пересыпкин и директор НИУ ВШЭ – Нижний Новгород Анна Бляхман.
Партнерство направлено на развитие образовательных и научных инициатив в сфере цифровых технологий.
Анна Бляхман, директор НИУ ВШЭ – Нижний Новгород
Опираясь на передовые знания ведущих исследователей, мы учим студентов применять и разрабатывать технологии, а затем на основе этих технологий создавать продукты и сервисы. Объединение усилий со «Школой 21» позволит совместно готовить высококвалифицированных специалистов в сфере информационных технологий в соответствии с концепцией Long Life Learning – независимо от возраста, статуса и базового образования.
Идея первого совместного мероприятия – хакатона по искусственному интеллекту –принадлежит нижегородской Вышке. Уже второй год в НИУ ВШЭ существует старегический проект программы «Приоритет 2030» по созданию ИИ-помощника для сотрудников учебного офиса – чат-бота, отвечающего на вопросы студентов. И основная задача хакатона – привлечь к этому проекту активных и креативных студентов, чтобы развивать чат-бот и сделать его интереснее и полезнее для целевой аудитории.
Александр Пересыпкин, директор «Школы 21» в Нижнем Новгороде
Мы объединяем усилия по подготовке ИТ-специалистов с лучшими вузами страны. В кампусе НИУ ВШЭ в Нижнем Новгороде студенты изучают цифровую трансформацию промышленных предприятий и других сфер бизнеса. Уверен, что опыт коллег поможет нам найти новые подходы к обучению, сделать его еще более практико-ориентированным. Например, совместный хакатон уже привлек внимание студентов НИУ ВШЭ и участников «Школы 21». Мы продолжим проводить подобные мероприятия, чтобы давать больше возможностей для развития ИТ-навыков будущих цифровых инженеров.
Наталья Асеева, декан факультета информатики, математики и компьютерных наук
Мы рады, что «Школа 21» поддержала эту инициативу, ведь тема ИИ-помощников сейчас актуальна во многих сферах. Мы можем предложить студенческие разработки, а наши партнеры – свою замечательную инфраструктуру для проведения хакатонов и экспертизу.
Наши цели со «Школой 21» во многом совпадают, и мы видим друг друга как взаимодополняющие организации: Вышка дает фундаментальное образование, а «Школа 21» сильна в практико-ориентированных методиках. Это сотрудничество позволит нам обогатить учебный процесс, предлагая студентам больше интересных и разнообразных форматов, ориентированных на практику.
В зависимости от трека задачи для участников были сформулированы следующим образом:
- Создать сервис, который собирает метрики качества работы чат-бота (в т.ч. корректность, релевантность, точность контекста), анализирует пользовательскую удовлетворённость (лайк/дизлайк) и отображает результаты в виде интерактивного дашборда (Streamlit/Dash)
- Провести fine-tuning чат-бота, чтобы он автоматически следовал инструкциям, прописанным в системном промпте без дополнительных указаний.
Из ограничений при решении этих задач организаторы назвали только авторские права и фантазию.
Победителями Хакатона и обладателями гран-при стала команда «MadDev»: Мария Спасюк, Даниил Холяк, Денис Степанов, студенты 3 курса программы«Прикладная математика и информатика».
Ребята выиграли оплачиваемую стажировку в команде Стратегического проекта по ИИ НИУ ВШЭ – Нижний Новгород.
Мария Спасюк, студентка 3 курса программы «Прикладная математика и информатика»
Наша команда реализовала дашборд (графический интерфейс), который предназначен для анализа качества ответов, которые модель выдаёт пользователям чат-бота. На дашборде приведена различная статистика запросов студентов по кампусам, уровням обучения, темам вопросов. Также на дашборде представлены посчитанные метрики качества ответов, которые позволяют выявить проблемы в работе модели. Например, узнать, на какие вопросы модель в чат-боте отвечает полноценно и правильно, а с какими у неё возникают проблемы, сколько времени занимает подготовка ответа и т.д.
Помимо мониторинга качества модели через дашборд мы ещё разработали свою метрику для отслеживания галлюцинаций модели. Например, когда ответ кажется правдивым и полным, а по факту там есть неверная информация.
Наша метрика учитывает различные составляющие ответа модели и контекста документов вуза, на основе которого и строится этот ответ. Мы учитывали, насколько полный ответ модели в сравнении с контекстом, соответствует ли ответ тем темам вопроса, которые выбрал пользователь, согласуется ли ответ модели по смыслу с контекстом и является ли ответ модели следствием/опровержением информации в контексте. Учитывая все эти моменты, в зависимости от полученного значения метрики, ответ модели оценивается как надёжный или рискованный.
Наш дашборд позволяет в реальном времени отслеживать качество ответов модели в чат-боте. Диаграммы постоянно обновляются, показывая актуальную статистику. Также есть возможность выбрать по фильтрам кампус, уровень обучения и категорию вопроса, чтобы было удобно отслеживать различные показатели (количество вопросов, среднее время ответа, качество ответа и др.) и выявлять проблемы в работе модели.
Что касается придуманной метрики, она поможет фиксировать те случаи, когда модель даёт убедительный ответ, который на самом деле является неверным, тем самым путая пользователя, не знакомого с правилами вуза. Отслеживание и исправление таких ситуаций поможет улучшить работу чат-бота.
Победить нам помогла слаженная работа нашей команды, чёткое понимание своих задач и коллективный разум.
Призерами хакатона стали:
Трек «Автоматический мониторинг качества ИИ-модели через дашборд» – команда «Wind Blows»: Кирилл Воронин, Эдгар Ахтямов, Илья Эсаулов, Матвей Комаров, Александр Удовенко, Павел Старостин (студенты 3 курса программы «Бизнес-информатика»).
Трек «Fine-Tuning ИИ-модели для системного промта» – команда «Промт программисты»: Лев Пестов, Руслан Мухаметшин, Артем Тартаковский, Семён Бакулев, Вадим Береснев, Владислав Ли (студенты 2 курса программы «Компьютерные науки и технологии»).
Кирилл Воронин, студент 3 курса программы «Бизнес-информатика»
Наша команда разработала сервис-дашборд, на котором наглядно можно отслеживать ключевые показатели работы чат-бота, например, качество ответа ИИ модели и значимость отдельных переменных в итоговой удовлетворенности пользователя.
Победить в этом хакатоне нам помогла слаженная работа в команде, когда мы прислушивались к мнению и идеям каждого участника, а также наши ключевые навыки, которые дополняли друг друга.
Специальный приз от Школы-21 получила команда «Wiwin»: Анастасия Шепшелюк, Ирина Кукушкина, Тимофей Макаров, Артём Юрьев, Александр Меньков, студенты 2 курса программы «Компьютерные науки и технологии».
И еще одна команда получила поощрение от Школы-21 за самую милую презентацию – «KINDER BUENO»: Константин Виноградов, Софья Субботина, студенты 2 курса программы «Компьютерные науки и технологии».
В планах у НИУ ВШЭ – Нижний Новгород и «Школы 21» – проведение совместных исследований, семинаров, конференций, круглых столов, а также организация стажировок для студентов вуза.
Борис Улитин, академический руководитель программы «Компьютерные науки и технологии»
Участники хакатона были с разных направлений и программ обучения. Но такое разнообразие бэкграунда участников позволило получить более разнообразные и в чем-то даже нестандартные решения в обоих треках.
По итогам хакатона мы планируем привлечь команды победителей и призеров к работе над ИИ-помощником для студентов НИУ ВШЭ и уже в этом году внедрить получившиеся решения.
