Как приложение Gaia помогает запускать большие языковые модели на ПК

В последние годы большие языковые модели (LLM) стали настоящим хитом и активно используются в различных устройствах: от смартфонов до автомобилей и в дата-центрах. Эту популярность активно поддерживают энтузиасты, желающие запускать модель на своём ПК, а не полагаться на облачные решения. В этой связи компания AMD разработала приложение под названием Gaia. Это проект с открытым исходным кодом, позволяющий легко запускать большие языковые модели на персональных компьютерах с системой Windows.

Для обработки ответов искусственный интеллект использует Lemonade SDK от ONNX TurnkeyML, а работа Gaia организована через агента Retrieval-Augmented Generation (RAG). Этот компонент объединяет LLM с базой данных, создавая интерактивный опыт взаимодействия с ИИ, обеспечивая точные и контекстные ответы. На данный момент RAG комплектуется четырьмя специализированными агентами, каждый из которых выполняет определённые задачи. Например, агент Simple Prompt Completion предоставляет возможность тестировать и оценивать функциональность модели.

Кроме того, в приложении присутствует агент Chaty, который функционирует как чат-бот, взаимодействующий с пользователем. Агент Clip даёт возможность осуществлять поиск по YouTube с функцией вопрос-ответ, а Joker генерирует шутки, придавая чат-боту юмористическую нотку. Разработчики отмечают, что Gaia помогает адаптировать большие языковые модели для решения как простых задач — например, создания резюме больших текстов, так и более сложных сценариев, требующих аналитического мышления. Кроме того, Gaia действует как ИИ-агент, извлекая и обрабатывая контент, что позволяет оптимизировать запросы пользователей заранее, до их обработки LLM.

Важно отметить, что AMD предлагает специальные оптимизации для компьютеров с процессорами Ryzen AI — для таких систем разработан отдельный установщик. Тем не менее, приложение может работать и на системах от других производителей, включая Intel. При этом все операции выполняются локально без необходимости в интернет-соединении.