Задумайтесь, пока ещё свободны: Что нам готовят в "цифровом раю"

Интересно, что большинство жителей Поднебесной против системы социального кредита не возражают. Более того, если судить по социологическим исследованиям, они считают, что общество, основанное на чётких и однозначных правилах, будет более справедливым.

Но удивляться тут нечему, считает Анна Шафран, – к такой системе китайцев подготовила конфуцианская мораль, по которой страна жила тысячелетиями. А вопросы справедливости очень важны для китайцев после "столетия унижения" – так в Поднебесной именуют период между 1839-м и 1949 годом, когда древнейшая страна, по сути, утратила субъектность и суверенитет и превратилась в лоскутное одеяло, которое делили между собой англичане,  французы, японцы и Российская Империя.

Социальный рейтинг делит всех жителей Китая на четыре неравные касты. Первая – граждане класса А – обладают всем комплексом прав. У категории B прав поменьше. С – ещё меньше. И наконец, D – это абсолютные парии, аналог неприкасаемых в индийской кастовой системе.

Граждан низших категорий могут всячески воспитывать: запретить покупку билетов на поезд и самолёт, ограничить бронирование отелей, а если, скажем, человек с невысокой категорией пришёл в кино – его лицо могут показать на экране перед началом сеанса и рассказать, что это злостный неплательщик налогов или алиментов.

Свой рейтинг можно повысить: для этого надо сдавать кровь, заниматься волонтёрством, раздельно собирать мусор – ну и совершать прочие социально одобряемые поступки. Но, разумеется, путь вверх гораздо труднее, чем путь вниз. Потерять баллы рейтинга гораздо проще, чем приобрести.

Система социального рейтинга держится на двух китах. Во-первых, это повсеместное проникновение системы распознавания лиц, причём маски для этой системы не помеха. И во-вторых, это присутствие человека в многочисленных базах данных – банковских, медицинских, полицейских, которые обмениваются между собой информацией в режиме реального времени.

Возникает вопрос: возможна ли подобная система в нашей стране? К примеру, в Москве уже установлено более 200 тысяч камер видеонаблюдения с системой распознавания лиц и их число неуклонно растёт, как и количество электронных баз, в которых есть информация о большинстве из нас, начиная с самой большой базы – "Госуслуги" – и кончая компактными базами по месту работы.

Компьютерная игра, перенесённая в реальность

Анна Шафран: – Юрий, давайте более детально расскажем нашим зрителям, в чём заключается суть этой китайской системы социального рейтинга.

Юрий Цветков: – В Китае, как вы уже отметили, эта концепция работает "в полный рост" и каждый год в неё добавляются новые элементы. Основа работы этой системы очень проста.

Технологии искусственного интеллекта, бурно развивающиеся в последнее время, позволяют обрабатывать большие массивы данных со скоростью, которая ещё недавно казалась невозможной. Для государства очень заманчиво иметь  проанализированные сведения о жизнедеятельности граждан – это помогает понять, что происходит с обществом, какие у него потребности, что нужно поменять.

В принципе, это очень полезно для планирования, а как мы знаем, экономика в Китае плановая, поэтому властям надо понимать, как живёт население, какие у него есть проблемы и так далее. Однако эта система работает в две стороны. Собирая информацию о людях, об "объектах исследования", система может формировать и мнение о каждом из них, и отражать картину поведенческого паттерна человека.

Поэтому и возникает большой соблазн разделить людей на некие категории: граждане, которые являются показательным примером, граждане, которые недотягивают до высшей планки, и дальше вниз по лестнице, вплоть до "проблемных граждан", которым надо исправляться.

Когда система даёт оценку конкретному гражданину, она предлагает и возможности для того, чтобы у человека появилась мотивация "исправиться", поднять свой рейтинг. Это как в компьютерной игре, где происходит погоня за какими-то достижениями. Эту игру переносят в реальный мир.

Для восточной цивилизации, для Азии, этот путь социальной дифференциации в целом является понятным, потому что в этой парадигме общество там развивалось многие тысячелетия и гражданам достаточно ясны правила этой "игры". Но в других частях света применение системы социального рейтинга – решение неоднозначное, несущее множество скрытых рисков. И прежде всего это риск потери личной свободы и права выбора.

Система искусственного интеллекта, "зашитая" в социальный рейтинг, предполагает определённый алгоритм действий человека. То есть у человека теряется ощущение возможности что-то создавать, генерировать идеи и свободно распоряжаться своей судьбой. Он знает, что у него есть только два пути – правильный и неправильный.

Если человек хочет иметь определённый набор благ или пользоваться какими-то привилегиями, он должен следовать по пути благонадёжного гражданина, нравится ему это или нет. И, что самое важное, мы видим это по промежуточным результатам китайского опыта: человек может скатиться в самый низ социальной пирамиды, не совершив ни одного противоправного поступка.

Если раньше, что в Китае, что в России, что в других странах, критерии добропорядочности определялись законами, то при введении социального рейтинга можно оказаться на дне пирамиды, лишиться всех благ и оказаться на одной ступеньке с людьми, которые преступили закон. Это один из самых страшных рисков.

К разговору в студии подключилась по скайпу доктор медицинских наук, профессор кафедры неврологии РНИМУ им. Николая Пирогова, врач-невролог высшей категории Любовь Соколова.

Насколько опасен социальный мониторинг? 

– Любовь Петровна, к вам вопрос: насколько эта система социального рейтинга способствует или нет психологическому комфорту в обществе? И насколько эта система применима к нам?

Любовь Соколова: – Внедрение любых, даже самых прогрессивных нововведений всегда вызывает разные мнения. И всегда появляются опасения, будь то новый вид транспорта или полёты в космос. Это касается и введения социального мониторинга – есть и плюсы, есть и минусы.

Но когда мы слишком углубляемся в вопрос "А чем нам это угрожает?", переживая о том, что будут ограничены какие-то наши свободы, – это уже проявление повышенной тревожности. Как врач я вам скажу: тревожиться мы всегда будем.

Если рассматривать этот социальный мониторинг с точки зрения положительного эффекта, то это хорошо для планирования. Кстати, это может быть хорошо и для диагностики заболеваний. Социальный мониторинг может пригодиться как при профилактике правонарушений, так и для выявления различных психоаффективных расстройств, всплеск которых мы наблюдаем в последнее время.

Что касается ограничений выбора и личных свобод... Когда люди начинают говорить об этом, многие забывают, что возможность выбора у нас есть каждую секунду, каждый миг. Решение о том, сделать сегодня утром зарядку или нет, человек принимает сам, и никто не сможет его в этом ограничить. А от этого может зависеть, к примеру, придётся ли ему завтра менять тазобедренный сустав или не придётся. Это связанные вещи. Но это как-то никого не волнует.

Но когда люди начинают говорить: "Ой, меня сняли на камеру, опять какой-то QR-код придумали...", они не вспоминают, сколько уже этих кодов было в нашей жизни, ИНН или тех же номеров мобильных телефонов. Насколько всё это реально влияет на нашу жизнь?

Я не верю, что этот социальный мониторинг сможет существенно повлиять на наши свободы, если его попытаются внедрить у нас.

Почему попытка нас классифицировать вызывает тревожность

– Тем не менее в Китае уже есть исследования, которые говорят о том, что уровень тревожности граждан заметно повысился именно в связи с системой социального мониторинга. И это при том, что китайцы гораздо более подготовленные к такой системе.

Л.С.: – Это спорный вопрос. Действительно ли китайцы начали больше тревожиться из-за введения социального мониторинга? У них ведь и других поводов для этого немало.

С другой стороны, когда нас хотят как-то классифицировать, то поневоле начнёшь тревожиться. Но я не верю, что это станет возможным в России. Да и что значит – раздавать блага, исходя из того, в каком ты классе находишься? Какие блага? Возможность кредитования? А счастье можно измерить кредитованием? Счастье невозможно измерить количеством благ, которые получает человек в результате того, в какой класс его отнесли.

Те категории, которые ценны: счастье, здоровье – они действительно определяются классом, к которому меня отнесли? Никто нам не может дать благо быть здоровым или счастливым. И где мера того, что сделает нас счастливыми? Одному для этого надо много денег, другому – возможность принимать глобальные решения, а третьему для счастья нужно иметь возможность творить.

– Так вы какой из этого вывод делаете? Что система социального мониторинга, делящая людей на касты, которая вводится в Китае, в принципе не влияет на то, как человек ощущает себя в окружающем пространстве? Я правильно вас понимаю?

Л.С.: – Скажем так: в какой-то степени влияет, а в какой-то – нет. На людей, не уверенных в себе, наверное, влияет. Я бы даже сказала так: в той стране, где все блага раздаёт государство, наверное, это может повысить уровень тревожности. Потому что в этом случае всё будет зависеть от того, что человеку дадут или не дадут.

Но в той стране, где в большей степени всё зависит от самого человека, если многое в жизни человека определяется его собственными усилиями, тревожности будет меньше.

Система социального рейтинга по-китайски – это "чёрный ящик"

– Слова Любови Петровны для меня – это яркий пример того, что ни в коем случае нельзя смотреть на ту или иную проблему исключительно с одного ракурса. Если смотреть на проблему социального рейтинга с психологической точки зрения, то тут не всё так однозначно. Но когда всё это коснётся лично нас, когда нам будет предложена ситуация, в которой мы окажемся поделенными на эти самые касты? Вот вам будет комфортно?

Ю.Ц.: – Совершенно некомфортно. Давайте посмотрим на этот вопрос с точки зрения демографии. Одна из проблем социального рейтинга состоит в том, что человек может даже не понять, в какой момент что-то пошло не так и это повлияло на его планы на дальнейшую жизнь.

К примеру, человек рассчитывал получить повышение по службе и соответствовал всем необходимым требованиям, но ему вдруг отказали, потому что система социального мониторинга решила, что этот человек неблагонадёжен. А причина может быть в том, что этот человек к определённому возрасту не выполнил программу по детям.

Система оценивает поведение человека и принятые им решения, даже если он не нарушал закон, в комплексе. После этого человеку выставляется оценка. И даже если на каком-то этапе он не чувствует дискомфорта, то это не означает, что он не поймёт это завтра, когда столкнётся с последствиями влияния социального рейтинга и его не выпустят за границу, он не получит повышения по службе и так далее.

И в этот момент человек начнёт задумываться: а как же так? У людей есть желание понимать природу вещей. И, упав в этом социальном рейтинге, человек попытается понять, что же с ним нет так. Законов он не нарушает, налоги исправно платит, никого не оскорбляет... Но почему-то он упирается в стеклянный потолок, потому что система считает, что он недотягивает до определённого уровня по благонадёжности и образцовости. И это нарушает его планы на жизнь.

Ведь вроде бы мы вправе свободно распоряжаться своей жизнью. А тут получается – свободны, да не до конца. Потому что есть некие правила игры, которые нам даже не объяснили толком. Ведь система китайского социального рейтинга – это "чёрный ящик", который может породить всё что угодно. И люди не могут толком понять, по каким критериям системой принимаются те или иные решения. А отмотать цепочку назад и что-то выяснить невозможно.

Между тем человек, пытаясь выяснить, что с ним не так, может далеко зайти – до напряжения и даже депрессии. А пытаясь поднять свой рейтинг, человек станет искать какие-то пути, вплоть до неправовых. Любую идею можно довести до абсурда.

В чьих руках находятся рычаги системы мониторинга?

– То есть это всё иллюзии, когда нам говорят, что социальный рейтинг позволит иметь полную прозрачность и в перспективе полностью искоренить коррупцию? На самом же деле это система, у которой тоже есть рычаги, и они  находятся в руках у определённых людей, с которыми можно попытаться договориться.

– Совершенно верно. Если мы представим, что эта система полностью автономна и существует сама по себе, то это будет реализованный сценарий очередного фильма про Терминатора и человечеству уже пора закачивать своё существование.

Но, к счастью, интеллектуальные системы ещё не настолько умны и в ближайшие 50-100 лет не поумнеют. Поэтому контроль за ними осуществляют люди, которые тренируют и вкладывают определённые алгоритмы в эту интеллектуальную систему.

Искусственный интеллект – это машина, работающая на данных. И чем больше данных она получила, тем лучше она ориентируется. Соответственно, как машина данные обрабатывает и какой логикой принятия решений она пользуется, зависит от людей, которые её программировали.

И тут возникает вопрос: а кто дал право этой группе программистов и разработчиков определять, что такое хорошо, а что такое плохо? Почему их мнение должно считаться особенным? И тут мы из области психологии переходим в область права.

С одной точки зрения, хорошо, когда государство понимает, чем живёт общество, и ему намного проще решить, где лучше построить больницу, куда провести дорогу или разбить парк. Но это только верхушка айсберга. А в глубине скрывается возможность заниматься социальной инженерией и задавать векторы поведения общества. О развитии общества здесь говорить невозможно.

У человека должно быть право выбора, и его нельзя нарушать. Можно поступиться каким-то свободами, скажем, ради всеобщей безопасности, но нельзя лишать людей права выбора. Это очень важный психологический момент. И по опыту Китая мы видим, как система социального мониторинга сводит это право на нет.

Ничего не забудется: система запомнит любой "хайп" и будет учитывать его постоянно

– Но ведь если подумать и примерить на себя эту систему социального рейтинга, всё видится совсем не радужно. Возьмём Александра Пушкина. С точки зрения этой системы, он был бы абсолютный маргинал: человек скандальный, вечно в какие-то истории попадал, даже на дуэлях дрался, постоянно жил в долг, даже царь за него некоторые долги платил. Сидел, писал себе какие-то стишки, только бумагу тратил, на которой можно было бы бухгалтерский отчёт написать…

– А всё потому, что машина оценивает бездушно. По сути, она чуть сложнее шахматного компьютера и действует, исходя из данных, которые были в неё заложены. И пример с Александром Сергеевичем очень показателен. На самом деле, при внедрении социального рейтинга нет гарантии того, что система на вас не "наброситься" и не сожрёт.

Мы говорим, что интернет помнит всё. Да, но каждое скандальное событие довольно быстро перекрывается следующим "хайпом". Однако система мониторинга действует иначе: она не только запоминает негативные события, но и постоянно учитывает их при каждом анализе, срезая рейтинг этому человеку.

Представьте, что этот социальный рейтинг был бы введён в России лет двадцать назад. И наши некоторые политики за свои высказывания или поступки в прошлом сейчас не просто в Думу не смогли бы избираться – их бы давно уже не было на политическом ландшафте.

В системе социального рейтинга есть психологические риски, есть огромные технологические риски, потому что система несовершенна, а система права задвигается на второй план. Готово ли к этому человечество?

А ведь человечество предупреждали, куда двигаться нельзя

Завершая программу, Анна Шафран напомнила, что писатели прошлых лет в своих антиутопиях пытались предупредить человечество, в каком направлении двигаться нельзя. Но то ли адепты тотальной цифровой слежки за людьми не читали эти книги, то ли, наоборот, очень внимательно читали и сделали соответствующие выводы, как не допустить описанных в антиутопиях способов обойти систему.

Временами дело доходит до прямых заимствований даже не из антиутопией, а из Откровения Иоанна Богослова – я сейчас говорю о предложении сделать людям татуировки с куар-кодами, чтобы ходить по ресторанам. Региональные власти тогда очень быстро отменили эту систему – я надеюсь, в том числе и потому, что тоже заметили слишком явную аналогию между своими действиями и предсказаниями Апокалипсиса.

Система цифрового рейтинга очень напоминает роман Евгения Замятина "Мы", написанный 100 лет назад. Там действие разворачивалось в 32 веке, похоже, что человечество справилось быстрее.

Унификация, отказ от индивидуальности и, как закономерный итог, полный отказ от фантазии и творческой мысли, превращение, по сути, в биороботов, существующих по чётким правилам и неспособных отклониться ни на шаг от заданной программы – вот о чём предупреждал Замятин, и ровно к этому ведут человечество сторонники системы социального рейтинга. Возможно, для кого-то это рай, но мне кажется, что именно так может выглядеть ад.

Свобода разума, свобода воли – это неотъемлемая часть человеческой личности. Отказываясь от свободы, человек отказывается от образа и подобия Божьего. Удивительно, что многие атеисты и трансгуманисты мнят себя поборниками абсолютной свободы, но что они в итоге предлагают людям? Цифровой концлагерь, тотальное подчинение бездушной машине, отсутствие самой идеи свободы.

Обратите внимание на ту спешку и торопливость, с какой нам предлагают цифровизировать всё и вся. Быстрее, а то отстанем, а то не успеем! По сути, люди даже не успевают задуматься, как оказываются винтиками огромной бездушной системы, которой неизвестно кто управляет.

Давайте не будем торопиться. Давайте обсуждать перспективы и проговаривать опасения. Ведь мы же свободные люди. Пока ещё свободные люди. Или уже нет?