Обычный офисный принтер Ricoh запустил языковую модель Google Gemma 3

Языковую модель Google Gemma 3 270M удалось запустить непосредственно на обычном офисном принтере Ricoh. Эксперимент провёл сотрудник Google Омар Сансевьеро с использованием Carbon — компактного движка для запуска нейросетей.

Принтеру не потребовались ни изменённая прошивка, ни дополнительные вычислительные платы. Модель работала внутри самого устройства, используя встроенный интерпретатор языка PostScript Level 3, который применяется для обработки заданий на печать. Об эксперименте сообщает IXBT.com.

Главной технической сложностью стали ограниченные ресурсы принтера. Чтобы разместить нейросеть в доступной памяти, разработчики применили динамическую загрузку слоёв: они поочерёдно помещались в память во время работы модели.

В ходе проверки системе предложили продолжить фразу «Read the fine». Принтер выдал на бумаге ответ «Read the fine print», что переводится как «Читайте мелкий шрифт». Скорость генерации составила 61,3 токена в секунду, однако обработка исходного запроса заняла около 184 секунд.

Эксперимент показал, что для запуска локальной ИИ-модели может быть достаточно возможностей обычной офисной техники. В данном случае вычисления выполнялись непосредственно на принтере, без специального оборудования и вмешательства в его прошивку.

Сейчас читают

Материалы, которые чаще открывают сегодня.

Загрузка…

Ещё по теме

Продолжить чтение

Материалы, которые помогут не выпадать из темы.