Зеркальный лабиринт алгоритмов: математики объяснили, почему искусственный интеллект деградирует, обучаясь на собственных ошибках.

Коллектив исследователей из МФТИ и Института проблем передачи информации им. А. А. Харкевича (ИППИ РАН) разработал математическую модель, описывающую, как системы искусственного интеллекта влияют на собственное будущее, обучаясь на данных, которые сами же и породили. Учёные создали теоретический каркас, объясняющий природу «цифровых эхо-камер» и механизм, из-за которого умные алгоритмы со временем могут терять адекватность или усиливать социальные предрассудки.

Математики объяснили, почему искусственный интеллект деградирует, обучаясь на собственных ошибках / © ИИ-генерация, midjourney 7.0.

Сегодня алгоритмы машинного обучения управляют колоссальными потоками информации: они рекомендуют товары, одобряют кредиты, формируют новостные ленты и даже помогают полиции предсказывать районы совершения преступлений. Однако широкое внедрение таких систем породило неочевидную проблему: алгоритмы начинают менять ту самую среду, которую они призваны анализировать. Когда банк отказывает в кредите на основе прогноза модели, это решение меняет статистику выдачи займов. Когда рекомендательная система предлагает пользователю определенный контент, она формирует его будущие предпочтения.

В результате новые данные, на которых система будет переобучаться, становятся искаженным отражением ее прошлых предсказаний. Возникает скрытая петля обратной связи, эффект которой до сих пор описывался в основном эмпирически, но не имел строгого математического обоснования.

В классической теории статистики и машинного обучения принято считать, что данные приходят из внешнего, независимого источника, подобно тому как астроном наблюдает за звездами, не в силах повлиять на их траекторию. Однако в случае с социальными алгоритмами ситуация напоминает скорее человека, который пытается выучить иностранный язык, читая только свои собственные, написанные с ошибками конспекты. Это нарушение фундаментального принципа независимости данных приводит к дрейфу концепций — явлению, когда связь между входными данными и целевым результатом меняется со временем не из-за внешних причин, а под влиянием самого «наблюдателя» — нейросети.

Команда российских математиков подошла к этой проблеме с инструментарием теории динамических систем. Вместо того чтобы анализировать отдельные ошибки предсказаний, авторы работы рассмотрели эволюцию самих распределений вероятностей данных. Они представили процесс многократного обучения как бесконечную цепочку преобразований, где на каждом шаге функция плотности вероятности данных трансформируется под воздействием так называемого эволюционного оператора. Этот оператор включает в себя весь жизненный цикл модели: от выборки данных и тренировки алгоритма до выдачи прогнозов пользователям и получения обратной связи. Исследование опубликовано в журнале Knowledge and Information Systems, препринт статьи доступен на arXiv.org.

Работа продолжает исследования динамики систем машинного обучения в условиях их взаимодействия с пользователями. В этом случае постановка задачи существенно отличается от классической и требует применения методов исследования, учитывающих их взаимодействие.

В 2021 году было установлено влияние вовлеченности и доверия пользователей на эволюцию системы, и в 2023-м были получены критерии возникновения эффекта положительной обратной связи и возникающего в результате вынужденного смещения данных, но не было строгой математической модели этого эффекта. К построению такой модели с учетом недетерминированности систем машинного обучения и удалось приступить в работе 2024–2025 годов. 

Результатом нового исследования стало математическое доказательство того, что у процесса самообучения в замкнутом контуре есть два финальных сценария. Согласно полученным теоремам, распределение ошибок модели с течением времени стремится к одному из двух предельных состояний.

Первый сценарий — коллапс вариативности, когда распределение вырождается в так называемую дельта-функцию Дирака. На практике это означает возникновение жёсткой положительной обратной связи: модель становится сверхуверенной в своих узких прогнозах, игнорируя все многообразие реальности.

Как меняется ошибка модели в зависимости от параметров обучения. Синяя область — «зона комфорта», где модель становится сверхуверенной и предсказуемой (коллапс в точку). Красная область — зона хаоса, где ошибка растёт бесконечно / © Knowledge and Information Systems.

Второй сценарий, выявленный учёными,— стремление к нулевому распределению, что означает неограниченный рост ошибки и дисперсии. Это состояние соответствует хаотическому развалу системы, когда обратная связь становится отрицательной или деструктивной, и предсказательная способность модели деградирует до уровня хуже случайного угадывания. Исследователи определили математические условия, при которых система сваливается в тот или иной режим, подтвердив гипотезу, выдвинутую Антоном Хританковым в 2021 году, о связи сжимающих отображений с возникновением положительных петель обратной связи.

Для проверки своих теоретических выкладок учёные провели серию вычислительных экспериментов на синтетических данных, используя классические задачи линейной регрессии. Они смоделировали две ситуации: «скользящее окно», когда старые данные постепенно забываются, и «выборочное обновление», когда новые предсказания смешиваются с полным набором исторических данных. Результаты симуляций идеально легли на предсказанные теоретические кривые.

Андрей Веприков, магистрант кафедры интеллектуальных систем ФПМИ МФТИ, стипендиат им. К.В. Рудакова, пояснил: «Мы обнаружили, что даже простые модели линейной регрессии при повторном обучении на своих выводах демонстрируют сложное динамическое поведение. В зависимости от параметров — того, насколько пользователи доверяют предсказаниям и как много машинных данных попадает обратно в обучающую выборку,— система неумолимо дрейфует либо к сужению кругозора и «эху», либо к полной потере качества. Наша теория даёт инструмент, чтобы заранее увидеть этот тренд, анализируя моменты распределения ошибок, которые гораздо проще измерить на практике».

Антон Хританков, кандидат физико-математических наук, доцент кафедры интеллектуальных систем МФТИ, научный руководитель исследования, подробно рассказал о важности проделанной работы:

«Наша статья — ключевой этап в цикле наших исследований, начатых еще в 2021 году. Если раньше мы фиксировали факты влияния алгоритмов на пользователей и выявляли критерии возникновения «петель обратной связи», то теперь, объединив усилия с коллегами из ИППИ РАН, мы создали полноценный теоретический каркас этого явления.

Общий замысел нашей работы заключается в пересмотре фундаментального подхода к машинному обучению. Традиционная статистика исходит из того, что данные независимы и приходят «извне». Мы же показываем, что современные ИИ-системы — это не пассивные наблюдатели, а активные агенты, которые меняют среду под себя.

Цель построенной нами модели — дать разработчикам понимание того, где проходит граница между стабильной работой алгоритма и его неизбежной деградацией. Мы объяснили природу «цифровых эхо-камер» языком математики. Это позволяет прогнозировать долгосрочные риски внедрения рекомендательных и скоринговых систем, переходя от интуитивной настройки параметров к инженерно обоснованному проектированию устойчивых систем искусственного интеллекта».

Александр Афанасьев, доктор физико-математических наук, заведующий центром распределенных вычислений ИППИ РАН, добавил:

«В этой работе мы поставили перед собой амбициозную задачу: перейти от эмпирических наблюдений за деградацией ИИ к строгому математическому описанию этого процесса. Главным результатом стало построение модели на основе теории динамических систем, где обучение рассматривается как бесконечная цепочка преобразований вероятностных распределений.

Нам удалось строго доказать, что в замкнутом контуре, когда алгоритм учится на собственных данных, поведение системы перестаёт быть стабильным. Мы математически вывели два финальных сценария «жизни» такой модели. Первый — это коллапс вариативности (стремление распределения ошибок к дельта-функции Дирака), когда нейросеть становится «самоуверенной» и перестаёт воспринимать реальность. Второй — хаотический развал предсказательной способности.

Важно, что наши теоретические выкладки, предсказывающие поведение моментов распределения ошибок, полностью совпали с результатами численных экспериментов. Это дает нам в руки не просто гипотезу, а работающий инструмент: теперь мы можем анализировать устойчивость алгоритмов еще до их внедрения, просто наблюдая за динамикой статистических моментов».

Результаты исследования могут быть использованы при разработке рекомендательных сервисов, систем скоринга и медицинских диагностических комплексов. Исследователи планируют расширить свою модель, включив в неё метрики расстояния между распределениями, и протестировать теорию на более сложных архитектурах глубокого обучения и реальных датасетах.

Источник: https://naked-science.ru/artic...

В.К. Говоря простыми словами: чем больше женщине мы верим, тем меньше нравимся мы ей. Казалось бы, парадокс. Ан нет, ведь идёт процесс обучения и на собственных галлюцинациях. В результате то, что мы именуем ИИ, идёт в разнос, что и приводит к деградации.

Галлюцинации вместо фактов. Исследователей призвали не верить нейросетям при работе с архивами.

Чат-боты готовы выдумать любые данные, лишь бы не оставлять запрос без ответа.

Автоматические системы, создающие текст с помощью искусственного интеллекта, всё чаще используются в сфере исторических исследований, включая работу с архивами. Однако Международный комитет Красного Креста (МККК) предупредил об опасности использования подобных инструментов при обращении к архивным источникам. В своём заявлении организация подчёркивает, что такие генераторы, как ChatGPT, Gemini, Copilot и Bard, не обладают механизмами проверки фактов и склонны к выдумке.

Особую обеспокоенность вызывает то, что подобные системы всегда создают ответ, даже если исторических данных по запросу нет. Их алгоритмы заточены на генерацию правдоподобного текста, а не на проверку достоверности. В результате появляются ссылки на якобы архивные документы с вымышленными номерами, названиями и платформами, которые в реальности никогда не существовали. Такие «галлюцинации» способны ввести в заблуждение даже опытных исследователей.

МККК обращает внимание, что если запрошенного архива не удаётся найти, это вовсе не означает сокрытия информации. Причины могут быть разными: от неполной или некорректной ссылки до хранения нужного документа в других учреждениях. Также может оказаться, что такой документ никогда не существовал, и его описание — продукт искусственного интеллекта, не подкреплённый никакими реальными данными.

Для получения достоверной информации о фондах МККК специалисты рекомендуют использовать официальный онлайн-каталог. Через него можно изучить существующие описи и обратиться напрямую к архивистам. Также надёжным источником считаются академические публикации, в которых точно указаны архивные ссылки и контекст, позволяющий проследить происхождение данных.

Организация подчёркивает свою приверженность принципам открытости и готова оказывать помощь в поиске проверенной информации. Однако использование генеративных систем без дополнительных проверок вредит точности исследований и может привести к искажению исторических данных.

По материалам: https://www.securitylab.ru/new...

В.К. И, как мы видим, это относится далеко не только к работе с архивами.