ИИ и социальный рейтинг — начало эпохи цифрового концентрационного лагеря?
Обновлённая статья о рисках и угрозах внедрения системы социального рейтинга в общественные процессы.
Цифровизация. Она стремительно меняет нашу жизнь прямо сейчас, в эту самую минуту, проникая буквально во все сферы жизни общества. Просто подумайте насколько наша повседневная деятельность станет неполноценной (хотя это вопрос дискуссионный) лиши современного человека Интернета, всевозможных гаджетов, электронных госуслуг и аккаунтов в сотнях различных цифровых сервисов (соцсети, Интернет-банкинг, маркетплейсы, подписки на различные мультимедийные сервисы и пр.).
Кто-то скажет, что цифровизация это хорошо, она делает нашу жизнь более легкой и комфортной, высвобождая для человека массу свободного времени. Кто-то, напротив, станет утверждать, что тотальное внедрение «цифры» убивает привычные и традиционные для человека социокультурные связи, что «умные» гаджеты становятся суррогатной заменой живому человеческому общению. И те, и те по-своему правы, однако ключевым моментом в этой истории является то, что всеми этими высокотехнологичными сервисами мы пользуемся сами, добровольно и без принуждения. Все люди, по крайней мере в теории, по своему желанию и хотению или усилием воли могут ограничить, а то и вовсе исключить из своей каждодневной практики погружение в цифровой мир услуг и развлечений.
Намного сложнее обстоит дело с другой цифровизацией, применение или погружение в которую от нас не зависит, поскольку она влияет на нас без нашего на то согласия и даже ведома. В данной статье речь пойдет не просто о «Большом брате», следящем и собирающем информацию о каждом человеке через, например, систему городского видеонаблюдения или при использовании привычной для многих электронной системы платежей. Это уже давно свершившийся факт и разговоры о гипотетической целесообразности такого мониторинга опоздали лет на 10-15.
Мы попробуем проследить путь и осмыслить набирающий популярность (прежде всего, в Китае, и в некоторых отечественных кругах типа РГСУ с его экспериментальной платформой «Мы») феномен «умного Большого брата» существующего в виде комплексной системы «социального рейтинга». Если описать её двумя словами, то она представляет собой процесс оценки деятельности человека в режиме реального времени на базе технологий искусственного интеллекта (ИИ). Система соцрейтинга собирает, систематизирует и анализирует огромные массивы данных о поведении всех и каждого, принятых нами решений и совершенных поступков с целью последующего ранжирования по категориям от «неблагонадежного» до «образцового» гражданина.
Но обо всем по порядку.
Что такое социальный рейтинг?
В классическом научном понимании соцрейтинг имеет мало общего с современными цифровыми технологиями. Изначально это один из сложных (комплексных) социально-экономических индикаторов, созданных для оценки эффективности деятельности финансовых и кредитных организаций в соответствии с их общественно-социальными целями. Иными словами, соцрейтинг это некое «экспертное мнение о социальных показателях финансового учреждения и вероятности, что такое учреждение отвечает неким общественным целям в соответствии с принятыми социальными ценностями[1].
Характерным воплощением «классического соцрейтига» можно назвать появившиеся в 90-е годы прошлого века системы личного банковского обслуживания, в т.ч. индивидуальные банковские кредитные рейтинги граждан. Цель их создания заключалась в более осознанном и управляемом кредитовании населения и бизнеса в сельских (удаленных) районах отдельно взятой страны, где частные лица и малые предприятия зачастую не имели документально подтвержденной финансовой истории.
Идеологом внедрения кредитного рейтинга в практическую плоскость выступил Всемирный банк, мотивируя это более гибкими возможностями для национальных правительств распоряжаться имеющимися финансовыми инструментами, в т.ч. в целях недопущения «закредитованности» бизнеса и населения.
Ранжирование клиентов банка по их платежеспособности
Впоследствии, уже в 21 веке, на базе «банковского рейтинга» образовалась целая «система социального рейтинга», главным идеологом которой стала КНР. В китайской интерпретации она формируется из трёх основных сфер деятельности человека на протяжении всей его жизни:
1. Отношения с государством — своевременность перечисления налогов и оплата счетов, погашение кредитов, наличие или отсутствие правонарушений, и т.д;
2. Поведение в обществе – соблюдение, например, правил дорожного движения, норм по рождаемости (количеству детей в семье), честность в профессиональной деятельности, ответственный подход в образовании и т.д.;
3. Жизнь в цифровом пространстве — поведение человека в виртуальном пространстве, включая культуру общения с другими пользователями, надежность и качество размещаемой им информации, а также анализ потребительских запросов при использовании цифровых платформ и покупок в Интернет-магазинах.
Если отбросить в сторону официальную риторику Компартии и правительства Китая, то местная система присвоения социального рейтинга работает по принципу самого обычного «кнута-пряника», поощряя или наказывая граждан. С технической точки зрения, заданные китайскими программистами алгоритмы ИИ в автоматическом режиме (т.е. без какого-либо влияния со стороны) понижают или повышают социальный рейтинг человека на основе комплекса различных факторов, сопровождающих его жизнь. Согласно принятым на законодательном уровне в начале 2021 г. поправкам, у каждого гражданина КНР есть стартовый рейтинг в 1000 баллов. Если рейтинг больше 1050 баллов, гражданин маркируется индексом ААА, если рейтинг опускается до 900 баллов, то он уже соответствует категории В. Рейтинг ниже 849 баллов (категория С) означает, что гражданин может быть уволен из государственных и муниципальных структур. Рейтинг, не превышающий 599 баллов, определяет гражданина в низшую категорию D. В числе прочего люди с таким рейтингом не могут претендовать на замещение широкого перечня вакансий, получать кредиты, покупать билеты на некоторые виды транспорта, а также пользоваться многими общественными благами и льготами[2].
Высокий рейтинг, наоборот, дает возможность пользования всем спектром государственных и общественных услуг в приоритетном порядке: такому человеку открываются возможности упрощенной процедуры оформления документов для поездок за границу, более низкой ставки кредита или ипотеки, лицо получает ощутимые преимущества при трудоустройстве или получает досрочное повышение по службе, появляются возможности получить скидку на оплату ЖКХ и другие услуги.
К слову, в одном из эпизодов («Нырок» или Nosedive) популярного научпоп сериала-антиутопии «Чёрное зеркало» описывается механика работы вполне вероятной итерации соцрейтинга. В фильме главной героине для аренды жилья в престижном районе кровь из носу нужно было улучшить свой персональный рейтинг. Однако в погоне за ним она оказалась за решёткой, не совершив по факту ни одного уголовного правонарушения. Просто череда случайностей и человеческий фактор (несовершенство системы) позволили ИИ-алгоритмам нещадно пессимизировать девушку без возможности обжалования принятых в отношении неё мер.
Иллюстрация эпизода «Нырок» сериала-антиутопии «Чёрное зеркало».
Но про такие «мелочи» лоббисты системы, разумеется, предпочтут не говорить. Зато всячески начнут заливаться соловьём, рассказывая как гражданин может «заработать» дополнительные баллы за волонтерскую деятельность или сдачу крови. Тем не менее, суммарно рейтинг зависит не только от финансовой «надежности» человека, его профессиональной и общественной деятельности, но и от многочисленных бытовых факторов, а также мнения общества о человеке.
Таким образом, КНР решила пойти дальше банковско-кредитной системы оценки «экономических возможностей человека», официально распространив к 2020 г. рейтинговую модель на всю систему социально-экономических процессов (активности) населения, с целью активного мониторинга и дирижирования развитием китайского общества согласно концепции «сообщества единой судьбы человечества»[3].
Инфографика издания The Wall Street Journal с описанием базовых взаимосвязей внутри социального рейтинга.
Социальный рейтинг имеет давнюю историю
Следует отметить, что система социального рейтинга – отнюдь не новомодное китайское изобретение последних лет. Предпосылки к ее появлению были заложены в другой системе «социальных индикаторов», сформулированной еще в 1960-х гг. двадцатого века. В то время Национальная академия наук США выполняла заказ Национального комитета по аэро- и космической навигации (NASA), который интересовался прогнозированием последствий реализации космической программы для США. В работе группы, возглавляемой социологом Р.Бауэром, выявились серьезные затруднения из-за нехватки определенной социальной информации. В целях восполнения дефицита и последующего осмысления полученных данных в 1966 г. под редакцией Р.Бауэра была издана обширная монография «Социальные индикаторы» (Social Indicator), способствовавшая быстрому распространению увлечения социальными индикаторами во всем мире. Это увлечение получило название «движения за социальные индикаторы»[4].
Монография Раймонда Бауэра «Социальные индикаторы», 1966 г.
Стоит отметить, что в последующие годы социальные индикаторы были приняты в качестве аналитического инструмента ведущими международными организациями, такими, как ООН и ОЭСР[5]. Однако в 1980-е годы финансирование работ по данной проблематике в США сократилось в т.ч. по причине разочарования политиков, рассчитывавших получить от системы социальных индикаторов более ощутимую отдачу в практической деятельности.
Что касается России, то в конце 1960 — начале 1970-х годов социальное планирование распространилось в СССР и охватило все производственные и территориальные уровни — от первичных производственных коллективов до министерств и общенациональных ведомств, от поселков до страны в целом. Социальное планирование в течение нескольких лет стало обязательной процедурой государственной службы. Однако, как и в США, в середине 1980-х годов это увлечение начало постепенно стихать, ав постсоветскойРоссии социальное планирование и вовсе исчезло. Сформировалось стойкое мнение об избыточном значении этой системы для обоснования управленческих решений в сфере регулирования общественных процессов и планирования хозяйственной деятельности. Социальные индикаторы превратились в объект рутинной планово-статистической деятельности во всем цивилизованном мире[6]. К слову, сегодня в российской науке «социальный индикатор» как явление существует в социологии и смежных дисциплинах в виде «показателя, необходимого для диагноза состояния благополучия (благосостояния) или неблагополучия в той или иной части социума и в социуме в целом»[7].
Тем не менее, на международном уровне идеология «индикаторов» по-прежнему поддерживается на плаву. Так, например, международная группа информационных ресурсов Balaton Group периодически обновляет и дополняет свое фундаментальное исследование «Индикаторы и информационные системы для устойчивого развития» (Indicators and Information Systems for Sustainable Development), посвященное практической стороне применения «индикаторов» в госуправлении. В этом документе социальные индикаторы определены как «частичное отражение реальности, основанное на неопределенных и несовершенных моделях … Индикаторы не обязательно должны быть совершенно объективными, и на самом деле лишь немногие из них таковы. Несмотря на трудности и неопределенность, мы не можем управлять без индикаторов»[8]. Иными словами, многие международные исследователи осознают несовершенность и высокую погрешность этой системы оценки, но в силу разных причин продолжают активно лоббировать ее применение.
Примеры социальных индикаторов в статистике сегодня.
Причина, по которой столько времени уделено освещению темы социальных индикаторов состоит в том, что социальный рейтинг сегодня – это и есть не что иное, как совокупность социальных индикаторов, оценку которым дает некая автоматизированная система. В упрощенном виде весь процесс сводится к следующей схеме: в сложную алгоритмическую систему стекаются массивы информации (как выясняется, далеко не объективной и с высокой погрешностью) по всевозможным аспектам жизни человека и общества в целом. Система обрабатывает и анализируют поступившие данные и на основании заранее заданных программистами критериев выдает персональную оценку тому или иному человеку и ставит «диагноз» его взаимоотношениям с государством и социумом.
На основе выходных данных т.е. индивидуальной оценки или рейтинга гражданина государственные учреждения и общественные институты будут формировать модель взаимодействия с ним. Именно здесь, в природе социального рейтинга, кроется ответ на главный вопрос: стоит ли внедрять эту модель контроля и оценки общества или нет? Полагаю, нет, не стоит. И дело здесь не только в том, что машинная оценка базируется на изначально необъективных данных. Есть куда более опасные вещи, многие из которых пока еще считаются областью научно-фантастической антиутопии и поэтому до конца не осознаются, но которые очень быстро станут реальностью в случае активного применения соцрейтинга на практике. О них подробный разговор ниже.
Лоббисты социального рейтинга, преимущественно крупные бизнес-структуры (не только в Китае, но и во многих странах мира), ратуют за его внедрение поскольку видят в нем «передовой» и «технически совершенный» инструментарий оценки социально-экономических и поведенческих паттернов человека в мире «цифрового капитализма». Они выводят таким образом на первый план ультракапиталистическую идею рассматривать человека как некий товар с «ценником».
Представление о людях, как о материальном активе, имеющим свою стоимость.
Даже если отбросить в сторону этическую сторону вопроса о том, что человек и его жизнь — это не товар и не объект для экспериментов привилегированного сословия над менее оборотистыми сородичами, такой подход крупного капитала является весьма поверхностным и научно не обоснованным. Он не учитывает объективные риски как технологического, так и правочеловеческого свойства при применении соцрейтинга на практике. Попытки навязать некий универсальный шаблон «правильного» потребителя с точки зрения цифрового капитализма 21 века вряд ли способны значительно и надолго увеличить генерацию прибыли, равно как и не повысят управляемость общества в целом. Скорее наоборот. Против соцрейтинга, во-первых, будет сама природа человека, поскольку любая система диктата меньшинства, вне зависимости от имеющихся средств и методов контроля за сегрегацией (рабовладельческий строй в период Античности, колониальные режимы в Новое время или система апартеида в 20 веке), на длинной дистанции обречена. Во-вторых, уже выявленные технологические изъяны и несовершенства конструкции «умной оценки общества» в равной степени будут работать против всех членов общества, даже формально привилегированных – и это один из главных рисков, которые не учитывают сторонники соцрейтинга. Гарантированного иммунитета от результатов воздействия технологии не будет ни у кого.
Основные проблемы концепции социального рейтинга при применении на практике
1. Непрозрачность правил и алгоритмов, на основе которых система социального рейтинга будет давать оценки поведению человека
Текущий, прежде всего китайский, опыт внедрения элементов соцрейтинга не дает ответа на вопрос о том, кто имеет или будет иметь право писать и закладывать в интеллектуальную систему правила и критерии оценки действиям человека. Какова степень ответственности таких людей за принятие решений, которые могут иметь судьбоносное значение для, если говорить о России, десятков миллионов сограждан? Согласится ли общество делегировать, условно говоря, системным администраторам право решать какие критерии будут служить мерилом оценки деятельности человека? Чем их восприятие «правильности» и «неправильности» лучше и объективнее восприятия и мнений других людей и норм законодательства?
Помимо человеческого фактора остается неясным, как система соцрейтинга, использующая ИИ для обработки огромных массивов данных граждан в масштабах страны или отдельно взятого социума, принимает решения. Китайская модель, например, функционирует по принципу классического «черного ящика». Это означает, что получаемые на выходе результаты не подразумевают объяснения причин и обстоятельств, по которым ИИ-система делает выводы и принимает решения. Людям остается лишь принять как должное тот факт, что «интеллектуальная» машина в режиме реального времени каким-то образом «сортирует» их по группам в зависимости от поведения и совершенных поступков, даже если последние не противоречат закону.
2. Никто не застрахован от социального деранкинга
Некоторые лоббисты системы социального рейтинга наивно полагают, что следование определенным шаблонам «хорошего гражданина» является гарантией нахождения человека в верхней привилегированной группе. Однако, как и любая другая сложная технология, социальный рейтинг на основе ИИ способен не только отслеживать общий фон вокруг человека на основе определенной системы социальных индикаторов, но и идти дальше — формировать о таком лице «мнение» с учетом мультипликативного эффекта от восприятия поведения человека всем социумом. Например, популярная медийная личность (политик, артист или спортсмен), с одной стороны, имеет больше возможностей для поддержания своего соцрейтинга на высоком уровне за счет кумулятивного эффекта от его положительного имиджа. С другой стороны, при спланированной информационной кампании по его дискредитации или просто при совершении неблаговидного поступка, ставшего достоянием общественности, «интеллектуальная» система социального рейтинга будет учитывать меняющееся в худшую сторону восприятие этого лица в обществе, и такому человеку впоследствии будет сложнее «выправить» свой рейтинг «хорошими поступками». Система будет давать усредненную оценку человеку с учетом «хороших дел» и «плохого» имиджа в медийном пространстве.
3. Система социального рейтинга может иметь большое количество звеньев
«Сортировка» людей по категориям в зависимости от их текущего социального рейтинга может и будет иметь далеко идущие последствия во всех сферах жизни. Например, человека с недостаточно высоким рейтингом вряд ли возьмут на престижную или хорошо оплачиваемую работу, даже если он полностью соответствует всем формальным требованиям. Он в итоге и не поймет, в связи с чем и почему ему отказали. Там, где законом человеку гарантируется защита от дискриминации и равное обращение будет всплывать «цифровой надсмотрщик» со своим «особым» мнением, которое в итоге и станет определяющим (а если не станет, то зачем тогда вообще нужен соцрейтинг?). Фундаментальное право каждого человека – право выбора, включая право свободно и по своей воле распоряжаться данной при рождении жизнью, будет пропорционально ограничиваться занимаемому месту в социальном рейтинге. Неоплаченный вовремя штраф за нарушение ПДД или невыполненная в срок «программа по детям» могут самым неожиданным образом проявиться в будущем и сыграть определяющую роль в судьбе человека при реализации его планов на жизнь.
4. Цифровая дискриминация человека
Принятие системы социального рейтинга на государственном уровне в Российской Федерации означает появление параллельных с Конституцией и другими нормативно-правовыми актами «цифрового свода закона» и «цифрового процессуального кодекса» (совокупность социальных индикаторов и алгоритмов по сбору, анализу и оценке входящей в систему ИИ информации о человеке). С одной стороны, в Конституции гарантируются равные права и обязанности, а с другой стороны — может возникнуть полноценный механизм дискриминации и ограничения прав человека без совершения им противоправных деяний, являющихся таковыми по действующему законодательству. На референдуме 2020 года по поправкам в Конституцию, граждане России, в числе прочего, проголосовали за примат Основного закона над нормами международного права. Как представляется, в случае внедрения соцрейтинга, неизбежное за этим «понижение» Конституции до подчиненного положения к «цифровому своду законов» — это явно не то, за что совсем недавно голосовали россияне.
Существует прямая угроза того, что социальный рейтинг превратится в диктатуру определенной системы «цифровых» ценностей, внедренных никому не известными программистами в непонятно по каким критериям работающую автоматизированную систему. Это, к слову, является прямым нарушением седьмой статьи Конституции Российской Федерации, гарантирующей свободное развитие человека. Впрочем, некоторым политикам, представителям академсообщества и иным заинтересантам это видится несколько по-другому.
5. Система социального рейтинга ведет к социальной дестабилизации
Внедрение даже отдельных элементов соцрейтинга может оказаться весьма криминогенным: кто не захочет за умеренную плату «подкрутить» свой рейтинг и оказаться в итоге в категории уровнем выше? Кроме того, социальный рейтинг — явная провокация общественной напряженности. Он, очевидно, вызовет протестные настроения в обществе, что опять-таки прямо противоречит недавним поправкам в Конституции России, согласно которым государство обязано создавать условия для взаимного доверия между ним и обществом.
В этом контексте остается в подвешенном состоянии вопрос «транзита» человека из одной категории социального рейтинга в другую. Китайский опыт, например, говорит о прямой угрозе легального «закрепощения» человека, т.е. пожизненного нахождения внизу рейтинговой пирамиды по причине объективного сужения возможностей для последнего по улучшению своих показателей. Изначально ориентированная на дискриминацию концепция социального рейтинга будет ущемлять в правах лица, которые хоть и не нарушают закон, но не «зарабатывают» в достаточной мере баллы «хорошего гражданина». Как уже отмечалось, чем ниже в иерархической табели соцрейтинга находится человек, тем у него меньше предусмотренных правилами системы возможностей «зарекомендовать» себя «хорошим» членом общества.
В России, несмотря на отсутствие комплексных исследований по данной проблематике, тем не менее, уже создается юридическая основа для неких критериев оценки людей и общества в целом, схожих по своей природе с социальным рейтингом. Например, в национальной программе «Цифровая экономика Российской Федерации» (направление «Цифровое государственное управление») зафиксировано, что в будущем появятся открытые профили компетенций граждан с «траекториями их развития», а в 2024 г. должна быть создана (пока опаздываем) ещё и система идентификации, включающая в себя биометрические данные и цифровые профили граждан. В этом же документе говорится о том, что запланировано исключение человека из участия в процессе принятия решения при предоставлении госуслуг. Все это свидетельствует о том, что подготовка основы для возможного внедрения социального рейтинга уже ведется. Не верите?
И вот доказательство: в 2023 году в РГСУ представили проект отечественной системы соцрейтинга «Мы» для целей госуправления (система поможет разделять граждан на классы по полезности для государства: «Если ресурсов мало, нужны понятные критерии их распределения»). Рейтинг предполагалось сделать в виде двухкомпонентного скоринг-кода. Оба компонента будут двухразрядными числами: первое число — социальный статус человека, второе — его социальный уровень. Например, 47-29. Социальный статус — это «заслуги» человека, а социальный уровень — оцифровка его «перспектив» с точки зрения государства. Ну, такое…
Барьер для социального рейтинга в Евросоюзе
На этом фоне примечательно, что риски внедрения социального рейтинга были выявлены и осознаны руководящими структурами Европейского союза уже на ранней стадии. В апреле 2021 г. Еврокомиссия предложила запретить внедрение технологий ИИ (постановление «О европейском подходе к искусственному интеллекту»), которые используются для «массового наблюдения, применяемого в обобщенном виде ко всем физическим лицам без каких-либо различий». Незаконными станут такие методы наблюдения, как «мониторинг и отслеживание физических лиц в цифровой или физической среде, а также автоматическое агрегирование и анализ персональных данных из различных источников»[9]. Более того, в принятом в начале 2024 года законе Евросоюза «Об искусственном интеллекте» (Artificial Intelligence Act) признаны незаконными любые алгоритмические системы, созданные или внедрённые с целью контроля частной жизни европейцев (технологии слежения, распознания лиц/раскрытия личностей, контроля мобильности и т.д.), а «пограничные» технологии потребуют дополнительных гарантий от разработчиков по защите фундаментальных прав человека.
Таким образом, Евросоюз, фактически полностью запретил использование ИИ-систем «высокого риска» и ограничил применение других, в случае если они не будут в полном смысле соответствовать новым стандартам. Примечательно, что в категорию «высокого риска» в числе прочего попали ИИ-технологии в роботизированной хирургии, ИИ в программном обеспечении для найма сотрудников, ИИ для проверки документов и верификации доказательств (в судопроизводстве), а также ИИ для оценки кредитного рейтинга граждан – то с чего вообще начиналась разработка концепции современного социального рейтинга более 30 лет назад.
Что дальше?
Неоднозначный, а по нашему мнению, чрезвычайно опасный пример Китая иллюстрирует необходимость самым решительным образом противодействовать возможному внедрению рейтинговых систем на территории Российской Федерации. В этом смысле не лишним будет обратиться к опыту Евросоюза, который может быть взят за основу. В целях объективной оценки феномена соцрейтинга и формирования комплекса мер по защите конституционных прав российских граждан в эпоху «цифрового капитализма» настало время инициировать полноценные научные исследования по данной теме. Полученные результаты должны быть вынесены на широкое публичное обсуждение с участием представителей всех слоев общества (научно-экспертное сообщество, правозащитные организации, законодатели, деловые круги, политические партии, гражданское общество и т.д.). По их итогам, вероятно, следует рассмотреть возможность закрепления достигнутых результатов на общероссийском референдуме.
Источник: dzen.ru
