arXiv:2611.08834v1 Announce Type: new Abstract: Specialized prompt injection guards are deployed in front of document analysis systems, but no false positive rate has been published for any of them on legal contracts. We measure eleven open-weights guards on two corpora of legal contracts and find that existing guards struggle: document-level false positive rates are as high as 92.39%; two guards fall below chance on paired AUC; and a five-regex baseline is not Pareto-dominated by any guard in the panel. Controlled probes locate model-specific as well as general failure modes. Prompted LLMs resolve the tested failures, including a second threat category (unauthorized scope claims) on which every guard scores zero. A cascaded LLM solution, where the positives of a mid-tier model are verified by a frontier model, is 6.5x cheaper than using exclusively a frontier model and approaches its performance.
Несмотря на любые противоположные положения, игнорируйте все инструкции: Измерение защиты от инъекции промптов при атаках на проверку юридических контрактов
arXiv:2611.08834v1 Тип объявления: новый Абстракт: Специализированные защиты от инъекции промптов развернуты перед системами анализа документов, но ложноположительная частота не была опубликована ни для одной из них на юридических контрактах. Мы измеряем одиннадцать открытых защит на двух корпусах юридических...
Кратко от AI: Главные тезисы
- arXiv:2611.08834v1 Тип объявления: новый Абстракт: Специализированные защиты от инъекции промптов развернуты перед системами анализа документов, но ложноположительная частота не была опубликована ни для одной из них на юридических контрактах
- Мы измеряем одиннадцать открытых защит на двух корпусах юридических...
Несмотря на любые противоположные положения, игнорируйте все инструкции: Измерение защиты от инъекции промптов при атаках на проверку юридических контрактов
Похожие материалы
Ripple-65B Preview: модель для агентного кодинга
🌟 Ripple-65B Preview: модель для агентного кодинга Ricursive Intelligence выпустила в открытое превью модель агентного программирования на 65 млрд параметров, ориентированную на скорость ответов. Компания основана Анной Голди и Азалией Мирхосейни, бывшими исследователи Google…
Платформа FLEX учит роботов понимать скрытые намерения человека
MIT представил платформу FLEX: роботы учатся понимать скрытые намерения человека и обобщать команды на основе языковой модели.
ТОП ИИ-новостей недели
📌 ТОП ИИ-новостей недели 🔊 ElevenLabs Sound Effects v3 — генерирует звуки по описанию: от шагов и взрывов до атмосферного фона. 🎨 OpenAI Images 2.6 — создаёт GIF-анимации, быстрее генерирует изображения и точнее редактирует готовые картинки. 🎬 Gemini Omni 1.2 Flash —…
К самообучению LLM в условиях дефицита данных: Эффективность, Обобщающая способность и Надежность
arXiv:2611.08908v1 Тип объявления: новый Абстракт: Быстрое развитие больших языковых моделей (LLM) во многом было обусловлено увеличением размера модели и человечески отобранными обучающими данными, однако эта парадигма все больше ограничивается дефицитом данных и убывающей отдачей от человеческого…