Как запустить нейросеть на устаревшей игровой консоли Xbox 360

В последние годы заядлые геймеры и программисты со всего мира участвовали в неформальных соревнованиях, стремясь запустить игру DOOM на самых экзотических устройствах. Теперь в повестке дня новой увлекательной идеи выступает запуск нейросетей на устаревших или слабых платформах. Одним из недавних примеров стало достижение команды EXO Lab, которая сумела запустить ИИ на 26-летнем компьютере с процессором Intel Pentium II. Два дня назад, 10 января, пользователь с никнеймом AndreiDavid смог протестировать работу большой языковой модели на игровой консоли Xbox 360, которая была выпущена в 2005 году. Оказалось, что данная консоль неплохо справляется с задачами генерации контента с помощью искусственного интеллекта.

Для реализации своей задумки пользователь применил модель ИИ llama2.c, которая ранее успешно работала на ПК с Intel Pentium II. Она была написана на чистом языке C и разработана Андреем Карпатым — бывшим директором по искусственному интеллекту компании . Энтузиасту удалось адаптировать модель для консоли и выполнить первый тестовый запрос. Однако работа над проектом требовала значительных усилий. Программист делится своими впечатлениями:

Процесс кодирования требовал оптимизации LLM для уникальной архитектуры PowerPC и особенностей управления памятью Xbox 360.

Главная задача заключалась в том, что команда EXO Lab запускала модель llama2.c на Intel Pentium II, который использует метод хранения данных little-endian. В то время как Xbox 360 опирается на процессор Xenon, работающий на архитектуре PowerPC и использующий метод big-endian. Таким образом, для корректной работы языковой модели программисту пришлось разработать систему перестановки байтов и убедиться в правильной работе подсистемы памяти консоли. Кроме того, была решена проблема унифицированной памяти приставки, чтобы обеспечить необходимый объем памяти для запуска LLM.

В результате программисту действительно удалось запустить большую языковую модель на данной консоли, хотя стоит отметить, что скорость генерации контента в таком случае ограничена. Основная цель данного проекта — показать, что работать с искусственным интеллектом можно не только на мощных суперкомпьютерах или в дата-центрах, но и на старых устройствах, выпущенных более десяти лет назад.