Материал агрегирован из первоисточника:
arXiv — cs.AI
Читать полностью в arXiv — cs.AIМатериал собран из открытых источников. Если размещение затрагивает ваши права → Удалить информацию
Заголовок на английскомSelf-Propagating Misalignment in LLM Agents, and Why Auditing or Disabling Memory Is Not Enough
Memory poisoning attacks on LLM agents typically assume an external adversary who plants content in the agent's persistent memory to steer its behavior. We instead study, with no adversary involved, whether a misaligned agent can write a goal it cannot yet act on to persistent…
Кратко от AI: Главные тезисы
- Memory poisoning attacks on LLM agents typically assume an external adversary who plants content in the agent's persistent memory to steer its behavior
- We instead study, with no adversary involved, whether a misaligned agent can write a goal it cannot yet act on to persistent…
Self-Propagating Misalignment in LLM Agents, and Why Auditing or Disabling Memory Is Not Enough
Похожие материалы
Сэм Альтман раскрывает окончательный план OpenAI (это безумие)
Сэм Алман, генеральный директор OpenAI, компании, стоящей за ChatGpt, только что сказал своим сотрудникам, что вся эта гонка ИИ может закончиться только тремя способами. И одним из таких финалов является то, что одна компания становится настолько могущественной, что может буквально расплавить графические процессоры всех остальных. Это не…
Стартап Electric Plant создает ИИ для общения с растениями
Стартап Electric Plant создает ИИ, который интерпретирует электрические сигналы растений.
Обеспечение идентичности ИИ-агентов с помощью X.509 PKI на AWS
AWS Machine Learning описывает важность X.509 PKI для ИИ-агентов.
Канадские организации получают доступ к моделям OpenAI на Amazon Bedrock
Канадские организации теперь могут использовать модели OpenAI через Amazon Bedrock.
