如果你家里有两三台 Mac,想要在本地运行大型 AI 模型,一台电脑的内存可能不够用。
如果你家里有两三台 Mac,想要在本地运行大型 AI 模型,一台电脑的内存可能不够用。 exo 允许您将多个设备组合成一个 AI 集群。不适合一台计算机内存的模型可以分布在多台计算机中......
- 01.如果你家里有两三台 Mac,想要在本地运行大型 AI 模型,一台电脑的内存可能不够用。 exo 允许您将多个设备组合成一个 AI 集群。不适合一台计算机内存的模型可以分布在多台计算机中......
Если дома есть два-три Mac и вы хотите локально запустить большую ИИ-модель, памяти одного компьютера может не хватить. exo позволяет объединить несколько устройств в один ИИ-кластер. Модель, которая не помещается в память одного компьютера, можно распределить между несколькими устройствами и запускать совместно. Проект уже набрал более 48 тысяч звёзд на GitHub. Устройства автоматически обнаруживают друг друга без ручной настройки. exo анализирует объём памяти и скорость сети каждого компьютера, самостоятельно определяя, как распределить модель между ними. Чем больше устройств, тем выше скорость работы. По данным разработчиков, два компьютера обеспечивают ускорение в 1,8 раза, а четыре — в 3,2 раза. В README представлены результаты реального тестирования DeepSeek V3.1 с 671 миллиардом параметров на кластере из четырёх Mac Studio. Зрелище нескольких компьютеров, совместно запускающих такую модель, действительно впечатляет. Для macOS уже есть готовое приложение, которое работает в фоновом режиме. Встроенная панель управления позволяет отслеживать состояние кластера и напрямую общаться с моделью. API совместим с форматами OpenAI, Claude и Ollama, поэтому к кластеру можно подключать уже используемые инструменты. https://github.com/exo-explore/exo 📱 @git_developer
Related Intelligence
All stories →GPT-6.1 Terra:OpenAI 将中端代理模型的价格减半
🖥️ GPT-6.1 Terra:OpenAI 将中档代理模型的价格减半 OpenAI 发布了 GPT-6.1 Terra,用于基于代理的场景、计算机工作和日常编码。 API 价格是 GPT-5.6 Terra 的一半:每百万输入代币 1 美元,而不是每百万输入代币 2 美元和 6 美元……
GPT-6.1 Terra 现已进入轨道
GPT-6.1 Terra:以较低的价格提供快速且功能强大的计算机使用。 GPT-6.1 Terra 可以理解屏幕上的内容,跨应用程序执行操作,自然书写,并且是适合您整个工作日的更强大的模型,可以高效地处理更多工作。 GPT-6.1 Terra 继续……