Anthropic выложила систему криптографической верификации инференса моделей

🌟 Anthropic выложила систему криптографической верификации инференса моделей

Команда Frontier Red Team опубликовала открытый прототип FlashProve, доказуемого вывода на zkSNARK.

Claude участвовал в разработке - он подобрал способы применить свежие методы из криптографической литературы и написал спецификацию протокола.

Эту технику знают по криптовалютам, где она подтверждает правильность транзакции, не раскрывая её содержимого.

Здесь её используют когда пользователь платит по API за конкретную модель и не может быть полностью уверен, что отвечала именно она.

Например, маршрутизатор способен подставить модель подешевле, а злоумышленник - вмешаться в поток токенов.

🟡 Механика

Поставщик один раз публикует отпечаток весов, который фиксирует их набор, не раскрывая сами веса, и дальше на запросы выдаёт файл с доказательством, что эти самые веса дали такие токены.

Проверяющему нужны отпечаток, запрос и ответ, веса не нужны, заново запускать модель тоже не надо.

🟡 Тесты

Опыт проводили на открытых четырёхбитных весах Llama 4 Maverick объёмом 232 ГБ.

Подготовительная фаза на одном H100 и 24 ядрах CPU заняла около 39 минут, выпущенного отпечатка хватает примерно на 16 млн запросов.

Дальше та же H100 выдаёт доказательства со скоростью около 110 токенов в секунду, одно весит примерно 19 МБ на запрос с окном в 1024 токена.

Проверка обходится без GPU - 17 секунд на 24 потоках процессора, 21 секунда на одном, плюс скачать отпечаток на 6,5 МБ.

Профит по сравнению с существующими открытыми системами получился заметный - VerInf на той же модели выдавал около 0,02 токена в секунду при доказательстве на 93,6 ГБ.

🟡Нюансы

На пакете из 24 запросов доказательства съедают примерно в 72 раза больше времени GPU, чем обычный вывод той же модели на vLLM, а на самой высокой из проверенных нагрузок - до 94 раз.

Одно доказательство подтверждает один выходной токен, окно контекста ограничено 1024 токенами, и до полных контекстов топовых моделей технологию ещё предстоит попилить.

Гарантия относится к целочисленной версии и к режиму greedy decoding, когда модель каждый раз берёт самый вероятный следующий токен, так что ответы с плавающей точкой или с семплированием могут расходиться.

Сами веса доказательство скрывает, а устройство модели нет - проверяющему видно, что перед ним смесь экспертов, и как она устроена.

Кроме кода, в репозитории FlashProve выложено всё, чтобы разобраться в концепте: вводные руководства с разбором устройства системы, инструкция по самостоятельной проверке доказательства, отдельные тексты о том, что именно доказывается и как прячутся веса, спецификация протокола и формата, словарь терминов, замеры и списки известных ограничений и ошибок.

В примерах лежат принятое доказательство, доказательство полного размера и отклонённые, с разбором причин.

📌Лицензирование: Apache 2.0

🟡Статья 🟡Техотчет 🖥GitHub

@ai_machinelearning_big_data

#AI #ML #LLM #FlashProve #Anthropic