If you have two or three Macs at home and want to run a large AI model locally, the memory on one computer may not be enough.
If you have two or three Macs at home and want to run a large AI model locally, the memory on one computer may not be enough. exo allows you to combine multiple devices into one AI cluster. A model that does not fit into the memory of one computer can be distributed among several...
- 01.If you have two or three Macs at home and want to run a large AI model locally, the memory on one computer may not be enough
- 02.exo allows you to combine multiple devices into one AI cluster
- 03.A model that does not fit into the memory of one computer can be distributed among several...
Если дома есть два-три Mac и вы хотите локально запустить большую ИИ-модель, памяти одного компьютера может не хватить. exo позволяет объединить несколько устройств в один ИИ-кластер. Модель, которая не помещается в память одного компьютера, можно распределить между несколькими устройствами и запускать совместно. Проект уже набрал более 48 тысяч звёзд на GitHub. Устройства автоматически обнаруживают друг друга без ручной настройки. exo анализирует объём памяти и скорость сети каждого компьютера, самостоятельно определяя, как распределить модель между ними. Чем больше устройств, тем выше скорость работы. По данным разработчиков, два компьютера обеспечивают ускорение в 1,8 раза, а четыре — в 3,2 раза. В README представлены результаты реального тестирования DeepSeek V3.1 с 671 миллиардом параметров на кластере из четырёх Mac Studio. Зрелище нескольких компьютеров, совместно запускающих такую модель, действительно впечатляет. Для macOS уже есть готовое приложение, которое работает в фоновом режиме. Встроенная панель управления позволяет отслеживать состояние кластера и напрямую общаться с моделью. API совместим с форматами OpenAI, Claude и Ollama, поэтому к кластеру можно подключать уже используемые инструменты. https://github.com/exo-explore/exo 📱 @git_developer
Related Intelligence
All stories →GPT-6.1 Terra: OpenAI halved the price of a mid-range agent model
🖥️ GPT-6.1 Terra: OpenAI halved the price of a mid-range agent model OpenAI released GPT-6.1 Terra for agent-based scenarios, computer work and everyday coding. The API price is half that of GPT-5.6 Terra: $1 per million input tokens instead of $2 and $6 per...
GPT-6.1 Terra is now in orbit
GPT-6.1 Terra: delivering fast and capable computer use at a lower price. GPT-6.1 Terra understands what’s on screen, takes action across apps, writes naturally, and is a more capable model for your whole workday with the efficiency to take on more of it. GPT-6.1 Terra continues…
SpaceX Inks $40 Billion AI Hardware Deal
SpaceX has reached a $40 billion deal to finance AI equipment.