Новый уровень слежки. Сбербанк запатентовал бота, прослушивающего звонки в WhatsApp и Telegram
Сбербанк получил патент на бота, работающего на основе искусственного интеллекта и защищающего россиян от звонков мошенников. Бот имеет два сценария работы — он перехватывает все входящие звонки и, если они не от мошенников, пользователь может начать разговор. Если при прослушивании разговора выясняется, что это мошенник, разговор прерывается. Разработчики уверяют, что бот также может «прослушивать» разговоры в мессенджере.
Защита от мошенников
Сбербанк получил патент на свой новый голосовой бот со встроенным искусственным интеллектом, который умеет прослушивать абсолютно все звонки, совершаемые со смартфона. На сайте Федеральной службы по интеллектуальной собственности (ФСИС) патент зарегистрирован под номером RU2802533C1, заявка на регистрацию была подана 16 февраля 2023 г., регистрация состоялась 30 августа 2023 г., но графе «Дата начала отсчета срока действия патента» стоит 27 мая 2021 г. В числе первых внимание на факт регистрации патента обратил «Хабр».
Новый патент Сбербанка получил название Способ и система анализа голосовых вызовов на предмет выявления и предотвращения социальной инженерии с помощью активации голосового бота». В описании к нему на сайте ФСИС сказано, что запатентованная технология может обрабатывать все входящие аудиовызовы, «поступающие от стороннего абонента». Также в описании сказано, что под аудиовызовами в данном случае подразумеваются «звонки посредством телефонной связи, звонки, осуществляемые посредством мессенджеров (WhatsApp, Viber, Telegram, и др.) через сеть Интернет». Более того, сюда же Сбербанк относит и видеовызовы.
Подробности о технологии
Согласно описанию к патенту, новое изобретение Сбербанка – это «Компьютерно-реализуемый способ анализа диалога во время аудиовызовов на предмет выявления мошеннической активности, выполняемый с помощью процессора». Сам способ анализа содержит этапы, на которых: получают с помощью устройства пользователя входящий аудиопоток, поступающий от вызывающей стороны; генерируют синтетический исходящий голосовой аудиопоток, выполняющий роль собеседника в диалоге с вызывающей стороной; осуществляют преобразование входящего аудиопотока в векторную форму; осуществляют обработку преобразованного аудиопотока с помощью первой модели машинного обучения, в ходе которой выполняют сравнение векторной формы аудиопотока с ранее сохраненными векторами, характеризующими мошенническую активность; осуществляют транскрибирование аудиопотока и его последующую обработку с помощью второй модели машинного обучения, которая выполняет анализ диалога вызывающей стороны».
Фото: Kelly Sikkema / Unsplash
Захотят ли россияне допустить Сбербанк до своих звонков, пусть и по имя их же безопасности — большой вопрос
Анализ разговора между владельцем устройства и собеседником включает в себя: «семантическое построение информации и диалоговые паттерны. К диалоговым паттернам относятся: анализ слов, используемых в разговоре, анализ построения фраз, анализ фраз, следующих друг за другом, а также наличие и длительность пауз в диалоге входного аудиопотока».
Кроме того, на этапе анализа вызова «выполняется классификация входящего аудиопотока на основе обработки, выполненной первой и второй моделями машинного обучения, а генерация исходящего аудиопотока выполняется до классификации входящего аудиопотока и формирует сообщение о состоянии классификации входящего аудиопотока для отображения на дисплее устройства пользователя».
Говоря на русском
Новый ИИ-бот Сбербанка был использован для «повышения эффективности и точности распознавания мошенничества во входящих голосовых вызовах путем анализа совокупности семантики голосового потока и диалоговых моделей». Пока это только патент, и нет никаких указаний на то, как Сбербанк будет применять эту технологию: нет информации о том, будет ли она встроена в приложение «Сбербанк Онлайн» или банк выпустит еще одну утилиту для мониторинга звонков. Также пока неясно, как бот Сбербанка будет получать доступ к звонкам через Messenger и будет ли Сбербанк хранить перехваченные диалоги, поскольку Messenger, по словам разработчиков, защищен сквозным шифрованием.
В описании к патенту сказано, что захват аудио «может осуществляться широко известными из уровня техники средствами записи диалога, например, с помощью специализированного ПО (Voice Recorder, Cube ACR и т. п.)».
Базовых сценариев работы ИИ-бота два. В первом он будет принимать все входящие звонки с неизвестных номеров и пытаться выяснить, кто звонит – мошенник или добросовестный человек. Если все же мошенник, то пользователь получит соответствующее уведомление о пресечении попытки сделать его жертвой обмана.
Второй вариант использования ботов — это незаметное участие в диалоге, по сути, «подслушивание». Бот следит за диалогом и прерывает его, если обнаруживает опасность (например, если звонящий запрашивает номер карты или персональные данные владельца номера). Пользователь получает уведомление об опасном звонке.
Дополнение
После публикации новости в редакцию CNews поступил официальный комментарий Сбербанка. Он написан без изменений.
«Сбербанк патентует различные технологии, которые в будущем могут использоваться при разработке новых решений и сервисов, в том числе и для противодействия мошенничеству, – сообщили CNews представители Сбербанка. – Данная технология предусматривает использование исключительно автоматизированных средств с соблюдением тайны связи, конституционных прав россиян и исключает компрометацию их телефонных разговоров».
