Google представила TPU 8i Max и 8tx: новые ускорители для ИИ-агентов

🖥️ Google представила TPU 8i Max и 8tx: новые ускорители для ИИ-агентов

Google расширила линейку TPU восьмого поколения до четырёх систем.

TPU 8i Max рассчитан на огромные контекстные окна и сложные агентные задачи: - Два объединённых TPU 8i. - В 2 раза больше вычислительной мощности. - В 2 раза больше SRAM и пропускной способности HBM.

TPU 8tx предназначен для конфиденциальных ИИ-вычислений: - Аппаратная защита данных во время обработки. - Защищённый инференс и дообучение моделей. - Работа с чувствительными данными.

Другие обновления:

- Agent Compute Engine переносит состояние простаивающих агентных сессий, освобождая ускорители. - TPU Sync снижает задержку передачи KV-cache более чем на 90% по данным Google. - XLA Serving Engine получил открытый C++-движок для обслуживания моделей на TPU, GPU и CPU.

Ещё одна интересная деталь: Google использует Gemini для разработки собственных чипов. По заявлению компании, ИИ помогает создавать схемы расположения компонентов (chip layouts) за часы вместо недель. Для этого используются вычислительные мощности TPU и сервисы на базе Gemini.

Также Google представила GKE Dynamic Slicing: запуск заданий ускоряется до 5 раз, восстановление после сбоев - до 4,5 раза.

https://blog.google/innovation-and-ai/infrastructure-and-cloud/global-network/tpu-8i-max-and-8tx/

@ai_machinelearning_big_data

#Google #tpu