По сообщению AWS Machine Learning, недавно была введена возможность создания и управления пространствами Amazon SageMaker на кластерах Amazon SageMaker HyperPod EKS прямо из интерфейса SageMaker Studio. Теперь научные сотрудники и инженеры машинного обучения могут запускать среды JupyterLab и Code Editor на кластерах HyperPod, не покидая браузер и не используя командные инструменты, что сокращает время от доступа к кластеру до продуктивной разработки до нескольких кликов. Amazon SageMaker HyperPod предоставляет специализированную инфраструктуру для обучения и вывода фундаментальных моделей в масштабах. С помощью оркестрации Amazon Elastic Kubernetes Service (Amazon EKS) команды могут запускать распределенные задачи обучения на сотнях ускорителей с встроенной устойчивостью и автоматическим восстановлением после сбоев. Кроме обучения, HyperPod расширяет эту инфраструктуру, управляемую EKS, для обеспечения низкой задержки и масштабируемого вывода для многомиллиардных параметров фундаментальных моделей. Ранее в этом году мы запустили Amazon SageMaker Spaces для HyperPod, дополнение, которое разработчики машинного обучения могут использовать для создания интерактивных сред разработки прямо на кластерах HyperPod EKS. Организации могут максимизировать свои инвестиции в GPU, выполняя интерактивные рабочие нагрузки наряду с задачами обучения и развертывания моделей на одной и той же инфраструктуре с поддержкой долевых выделений GPU. Ранее создание и управление пространствами в основном зависело от команд HyperPod CLI или kubectl. Хотя этот подход предоставляет мощный и детализированный контроль для администраторов инфраструктуры, научные сотрудники, предпочитающие визуальный интерфейс, теперь могут использовать эту новую возможность SageMaker Studio, чтобы обойти командные инструменты и сосредоточиться исключительно на разработке моделей. С этой новой возможностью научные сотрудники теперь могут создавать, настраивать, запускать, останавливать и открывать пространства прямо из SageMaker Studio. Новый раздел IDE и Notebooks на странице деталей кластера HyperPod предоставляет полный пользовательский интерфейс для управления пространствами, устраняя необходимость в инструментах CLI для повседневных операций с пространствами. Ключевые возможности, доступные через Studio, включают: создание пространств с настраиваемыми вычислительными ресурсами, пространствами имен, хранилищем, управление квотами вычислений и настройками изображений через пошаговую форму. Просмотр всех пространств в таблице с возможностью поиска, показывающей имя, тип приложения, статус, тип доступа, хранилище, GPU и выделение vCPU. Запуск и остановка пространств одним выбором для освобождения вычислительных ресурсов, когда пространства не используются. Открытие пространств прямо в браузере (JupyterLab или Code Editor) или подключение через удаленный IDE по вашему выбору (например, VS Code). Настройка включает две роли: администраторы подготавливают кластер, а научные сотрудники создают и открывают пространства. Администраторы устанавливают дополнение SageMaker Spaces на своем кластере HyperPod EKS, используя либо опцию Быстрой установки (один клик с оптимизированными настройками), либо опцию Пользовательской установки (необходимую для настройки доступа через веб-интерфейс) из вкладки IDE и Notebooks кластера. После установки администратор может настраивать пространства имен, создавать шаблоны пространств и управлять доступом через записи доступа EKS. Следующие действия должны быть выполнены администратором один раз: установить дополнение Spaces и настроить записи доступа EKS. После установки дополнения и настройки доступа научные сотрудники могут перейти к своему кластеру HyperPod в SageMaker Studio под разделом Compute → HyperPod и выбрать вкладку IDE и Notebooks, чтобы увидеть интерфейс управления пространствами. После того как статус пространства показывает «Работает» (обычно несколько минут на холодном кластере, примерно 30–40 секунд с переобеспечением), выберите «Открыть», чтобы запустить JupyterLab или Code Editor в вашем браузере. Работа в пространстве JupyterLab предоставляет полностью настроенную среду разработки с доступом к Python 3, консольным доступом и файловым браузером с постоянным хранилищем. Пространства Code Editor предлагают легковесный веб-IDE с поддержкой полного редактирования файлов, интегрированным терминалом и поддержкой Git для рабочих процессов управления версиями. Выбор «Открыть в VS Code» позволяет подключить ваш локальный Visual Studio Code к пространству, работающему на HyperPod, используя SSH-over-SSM, что обеспечивает безопасное соединение без необходимости управлять SSH-ключами или открывать порт 22. Вы получаете всю мощь вашей локальной среды VS Code, включая расширения и темы, при выполнении кода на вычислительных ресурсах кластера HyperPod. Управление пространствами HyperPod с помощью SageMaker Studio устраняет разрыв между научными сотрудниками и высокопроизводительной вычислительной инфраструктурой. Команды теперь могут перейти от доступа к кластеру к работающей среде JupyterLab или Code Editor за считанные минуты, не требуя изучения инструментов CLI или концепций Kubernetes. В сочетании с такими функциями, как управление задачами HyperPod, поддержка долевых GPU и автоматическое завершение работы, организации могут предоставить доступ к общим кластерам с самосервисом, сохраняя при этом контроль затрат и справедливое распределение ресурсов. Материал подготовлен нейросетью на основе оригинальной публикации. ИИ может ошибаться в деталях (цифры, имена, даты, цитаты) — для важной информации сверяйтесь с первоисточником.