День выдался показательным: независимые оценщики из METR фиксируют, что Anthropic разгоняет разработку ИИ вдвое быстрее, чем год назад, но часть цифр в отчёте закрашена. Вашингтон тем временем одобряет продажу чипов Nvidia китайской фирме, у которой, по сути, пустой офис. А Алекс Стамос из Cognition прямо говорит, что ИИ сломал кибербезопасность и защита теперь дороже атаки. Скорость растёт, контроль за ней не успевает. Ниже о том, как эти истории складываются в одну картину. Начну с METR, потому что это самый тревожный сигнал дня. Внешняя организация измеряет, насколько ИИ ускоряет работу самой лаборатории, которая этот ИИ создаёт. Именно такую петлю обратной связи годами обсуждали теоретики безопасности как ранний признак «взлёта». Удвоение темпа за год пока не означает сингулярность. Это означает, что инструменты, которыми Anthropic пишет код и проводит эксперименты, уже заметно сокращают цикл создания следующей модели. Если тенденция сохранится, разрыв между лидерами и догоняющими будет расти не линейно. Ещё больше меня смущают отредактированные куски отчёта. Компания, которая строит бренд на прозрачности и ответственном масштабировании, позволяет независимому аудитору опубликовать отчёт с вымаранными данными. Критиков понять можно: аудит, в котором проверяемый решает, что показать публике, превращается в пресс-релиз с печатью третьей стороны. Коммерческую тайну защищать нужно, но чем быстрее ускоряется разработка, тем дороже обходится каждая скрытая цифра для общественного доверия. Ускорение касается не только лабораторий, и тут на сцену выходит Стамос. Его тезис о том, что защита стала дороже атаки, звучит буднично, но переворачивает экономику отрасли. Раньше сложная атака требовала редких специалистов и времени. Теперь модели берут на себя разведку, поиск уязвимостей и написание эксплойтов, а цена попытки стремится к нулю. Защитнику по-прежнему нужно закрыть все дыры, атакующему хватит одной, и ИИ эту асимметрию многократно усилил. Важно, кто это говорит. Cognition делает автономных агентов-программистов, то есть ровно тот класс инструментов, который ускоряет и Anthropic, и злоумышленников. Директор по безопасности такой компании фактически признаёт, что продукт его отрасли меняет баланс сил в сети. Для бизнеса вывод прагматичный: бюджеты на безопасность придётся пересматривать в сторону автоматизированной защиты. Ручной SOC против армии агентов не выстоит. На этом фоне история с Nvidia выглядит почти сатирой. Пока одни ведомства говорят о стратегическом значении вычислительных мощностей, экспортный контроль пропускает поставки фирме New Matrix, которая едва существует и связана с компаниями из чёрного списка. Либо проверка контрагентов формальна, либо политика в отношении Китая стала предметом торга, где коммерческие интересы Nvidia весят больше декларируемых рисков. Оба варианта плохи для тех, кто верил, что чипы останутся рычагом сдерживания. Связь с METR и Стамосом прямая. Если ИИ ускоряет сам себя и удешевляет атаки, доступ к вычислениям становится по-настоящему стратегическим ресурсом. А система контроля за этим ресурсом, судя по материалу The Verge, пропускает подставные компании. Регулирование строится под мир, где ИИ развивается медленно и предсказуемо, а такого мира уже нет. Вторая линия дня спокойнее, но для разработчиков не менее важна: как устроены сами модели и где проходят границы их ответственности. Wired подробно объясняет, почему модели мира скоро станут повсеместными. Это системы, которые учатся предсказывать физику и последствия действий в симуляции, и на них уже тренируют роботов и беспилотники. Миллиарды инвестиций туда идут не случайно: языковые модели упёрлись в пределы текстовых данных, и следующий рывок многие ищут в понимании физического мира. Рядом стоит противоположный по философии тренд, модели решений вроде Jev. Они выдают быстрые структурированные ответы и ничего не объясняют. Это честная инженерная сделка: скорость и предсказуемый формат в обмен на отказ от рассуждений. Только рассуждения никуда не деваются, они переезжают к разработчику. Ему теперь проектировать контекст, проверять допущения и отвечать за то, почему система решила именно так. Профессия смещается от написания промптов к архитектуре контекста и валидации. Обе истории сходятся в одном: «умная» часть системы всё чаще оказывается непрозрачной. Модель мира предсказывает, что будет дальше, но не говорит почему. Модель решений отвечает, но не объясняет. В беспилотнике или промышленном роботе цена такой непрозрачности измеряется уже не испорченным ответом в чате. Испорченный ответ, впрочем, тоже бывает, и тут показателен тест ИИ-ассистента NYT Cooking, который спас ужин, но чуть не испортил торт. Это хорошая модель всей потребительской ИИ-индустрии. В гибких задачах вроде замены ингредиента в рагу ассистент полезен. В задачах с жёсткой химией, а выпечка ровно такая, он уверенно предлагает то, что ломает результат. Удачное решение NYT в том, что оригинальный рецепт не трогается и новые версии создаются рядом, так что у пользователя остаётся точка отката. Многим корпоративным внедрениям стоит поучиться этой скромности. Собранная вместе, картина дня для меня такая: возможности ИИ растут быстрее, чем механизмы, которые должны их сдерживать, проверять и объяснять. Anthropic ускоряется, но прячет цифры. Атаки дешевеют быстрее защиты. Экспортный контроль пропускает фирмы-призраки. Модели всё лучше предсказывают и решают, но всё меньше объясняют. Это не катастрофа, а системный перекос, и он нарастает. Ускорение мы научились измерять, а прозрачность и подотчётность пока плетутся позади, причём иногда по чьему-то сознательному выбору. Ставлю на то, что следующий год пройдёт под знаком «ответственность переезжает вниз по цепочке». Модели решений перекладывают рассуждения на разработчиков, кибератаки перекладывают издержки на защитников, а непрозрачные отчёты перекладывают доверие на слово компаний. Выиграют те, кто заранее построит у себя слой проверки: аудит контекста, автоматизированную защиту, возможность откатиться к «оригинальному рецепту». Для пользователей простое правило из истории с тортом остаётся в силе: там, где ошибка необратима, у ИИ должно быть право советовать, но не последнее слово. — Модели мира для ИИ скоро станут повсеместными: что нужно знать. Как сообщает Wired: модели мира учат роботов и беспилотные авто в симуляциях, а инвесторы и компании вкладывают в них миллиарды. Разбираемся, как они работают. — США разрешили Nvidia продавать чипы в Китае фирме с пустым офисом. США одобряют продажи чипов Nvidia китайским фирмам с связями с чёрным списком. Компания New Matrix, допущенная к покупке, почти не существует. Материал подготовлен искусственным интеллектом. ИИ может ошибаться в деталях (цифры, имена, даты, цитаты) — важную информацию перепроверяйте.