Учёные ФизТеха создали улучшенный алгоритм машинного обучения

Группа учёных из России и США разработали улучшенный алгоритм машинного обучения

Группа российских учёных вместе с американским коллегой представила новый децентрализованный алгоритм оптимизации, который работает без центрального сервера и автоматически настраивает параметры. В отличие от традиционных методов, где необходимо заранее определять параметры задачи и сетевой топологии, этот алгоритм использует локальную информацию, что позволяет избежать проблем с медленной сходимостью и сложностями в масштабировании. Исследователи отмечают, что такой подход значительно ускоряет вычисления, делая систему более эффективной и гибкой.

Алгоритм использует метод «разбиения операторов» и новую переменную метрики, что позволяет каждому агенту самостоятельно выбирать оптимальный шаг на основе локальной информации. Это можно сравнить с опытным строителем, который на месте решает, как использовать инструменты, не полагаясь на глобальные параметры. Результат исследования показывает, что новый алгоритм обеспечивает линейную сходимость, что означает высокую скорость приближения к решению, особенно в хорошо связанных сетях.

Для выбора оптимального алгоритма предложено два варианта. Первый использует глобальный поиск минимума, где агенты обмениваются информацией о своих шагах, что ускоряет сходимость, но требует больше коммуникации. Второй, менее затратный, использует только локальный минимум, что ограничивает обмен данными только с ближайшими соседями, но несколько замедляет процесс. Эти алгоритмы продемонстрировали лучшие результаты по сравнению с существующими децентрализованными методами, особенно в сложных задачах и при работе в слабо связанных сетях.