Большую языковую модель запустили на 26-летнем ПК с Pentium II на борту

Вчера, 29 декабря, специалисты из компании EXO Labs, которая выступает за открытость и доступность технологий на базе искусственного интеллекта, опубликовали в своём блоге пост о том, что им удалось запустить большую языковую модель Llama на компьютере 26-летней давности с операционной системой Windows 98 и процессором Pentium II (с тактовой частотой 350 МГц). Правда, для этого энтузиастам пришлось задействовать кастомный движок Llama2.c — интерфейс большой языковой модели Llama 2, который Андрей Карпати (Andrej Karpathy), бывший директор по искусственному интеллекту в Tesla и один из основателей OpenAI, написал на языке программирования С («Си»), а затем выложил в открытый доступ на GitHub.

Когда LLM всё же удалось запустить на столь старом компьютере, представители компании дали системе задание сгенерировать историю про Sleepy Joe («Сонный Джо»). И хорошая новость в том, что ИИ не только справился с поставленной задачей, но и «создавал» текстовый контент с приличной скоростью. Соответственно, это является наглядной демонстрацией того, что запускать большие языковые модели можно даже при довольно ограниченных ресурсах и практически на любом устройстве. Правда, для этого нужно быть технически подкованным пользователем, потому что даже просто передать информацию на столь старое устройство оказалось задачей не из простых.

Кроме того, представители EXO Labs в своём блоге рассказали, что скомпилировать современный код для операционной системы Windows 98 тоже было довольно тяжело. Разработка господина Карпати им очень помогла — программистам удалось посредством старой IDE и компилятора Borland C++ 5.02 с рядом мелких доработок превратить готовый код Llama2.c в исполняемый файл, совместимый с Windows 98. Примечательно, что готовое решение оказалось весьма производительным — скорость генерации текстового контента составила 35,9 токенов в секунду при использовании большой языковой модели размером 260К с архитектурой Llama.

Безусловно, в современных реалиях это достаточно скромная большая языковая модель, но сам факт возможности запустить ИИ-технологии на компьютере со 128 МБ оперативной памяти впечатляет. Кроме того, на самом деле на этой системе удалось запустить и более крупные LLM — например, Llama 3.2 1B. Проблема только в том, что с таким количеством параметров компьютеру справляться уже достаточно тяжело — скорость генерации составила 0,0093 токена в секунду.