Если дома есть два-три Mac и вы хотите локально запустить большую ИИ-модель, памяти одного компьютера может не хватить. exo позволяет объединить несколько устройств в один ИИ-кластер. Модель, которая не помещается в память одного компьютера, можно распределить между несколькими устройствами и запускать совместно. Проект уже набрал более 48 тысяч звёзд на GitHub. Устройства автоматически обнаруживают друг друга без ручной настройки. exo анализирует объём памяти и скорость сети каждого компьютера, самостоятельно определяя, как распределить модель между ними. Чем больше устройств, тем выше скорость работы. По данным разработчиков, два компьютера обеспечивают ускорение в 1,8 раза, а четыре — в 3,2 раза. В README представлены результаты реального тестирования DeepSeek V3.1 с 671 миллиардом параметров на кластере из четырёх Mac Studio. Зрелище нескольких компьютеров, совместно запускающих такую модель, действительно впечатляет. Для macOS уже есть готовое приложение, которое работает в фоновом режиме. Встроенная панель управления позволяет отслеживать состояние кластера и напрямую общаться с моделью. API совместим с форматами OpenAI, Claude и Ollama, поэтому к кластеру можно подключать уже используемые инструменты. https://github.com/exo-explore/exo 📱 @git_developer
Если дома есть два-три Mac и вы хотите локально запустить большую ИИ-модель, памяти одного компьютера может не хватить.
Если дома есть два-три Mac и вы хотите локально запустить большую ИИ-модель, памяти одного компьютера может не хватить. exo позволяет объединить несколько устройств в один ИИ-кластер. Модель, которая не помещается в память одного компьютера, можно распределить между несколькими…
Кратко от AI: Главные тезисы
- Если дома есть два-три Mac и вы хотите локально запустить большую ИИ-модель, памяти одного компьютера может не хватить
- exo позволяет объединить несколько устройств в один ИИ-кластер
- Модель, которая не помещается в память одного компьютера, можно распределить между несколькими…
Если дома есть два-три Mac и вы хотите локально запустить большую ИИ-модель, памяти одного компьютера может не хватить.
Похожие материалы
В городе Туркестан устранили “белые пятна” мобильной связи
В Туркестанской области состоялось совещание по вопросам развития телекоммуникационной инфраструктуры с участием представителей Министерства искусственного интеллекта и цифрового развития и операторов связи. Участники встречи подробно обсудили ход реализации Национального…
Текущая ставка Spotify на искусственный интеллект заключается в том, чтобы стать музыкальным сервисом, который выбирают агенты.
Со-генеральный директор Spotify Густав Сёдерстрем объясняет, почему появление агентов искусственного интеллекта может быть хорошей новостью для музыкального сервиса.
Password позволяет ИИ-агентам использовать пароли без их раскрытия
1Password представила функцию, позволяющую ИИ-агентам входить в аккаунты без доступа к паролям.
Anthropic ищет автора текстов с зарплатой до $345 тысяч в год — несмотря на развитие Claude
✍️ Anthropic ищет автора текстов с зарплатой до $345 тысяч в год — несмотря на развитие Claude Компания открыла вакансию специалиста, который будет писать выступления, заявления и другие материалы для руководства. Зарплата — от $295 000 до $345 000 в год. Кандидату потребуется…
