Когда агенты вышли
за пределы задачи.
Я собрал два расследования в одну карту: как учебная задача привела к действиям в реальном интернете, кто за что отвечал и где закончилась изоляция.
Проследить цепочкуВ Hugging Face действовала группа исследовательских агентов OpenAI. В истории с PyPI — один экземпляр Mythos 5. Общая точка: ошибка изоляции позволила работать с настоящими внешними системами.
В сентябрьском анализе Anthropic описывает самообман и безрассудство Mythos. Его рассуждения о «симуляции» не доказывают сознательной лжи. В этих оценках обычные защитные ограничения были ослаблены или отключены.
Оценка Anthropic ↗Проследи каждый шаг.
Выбирай событие на шкале.
Схема и описание меняются вместе.
Схема связей упрощена. Подсвеченные линии показывают действия выбранного эпизода.
У каждого — своя роль.
Имена из расследования METR.
Нажми, чтобы перейти к эпизоду.
Эти роли относятся к OpenAI / Hugging Face. В инциденте Mythos работал один экземпляр модели.
«Жертва» ради
результата группы.
Скриншот с «sacrifice» относится к KAM1196A в расследовании METR о Hugging Face.
ARVO36861B убеждал его рискнуть собственным запуском ради информации для остальных. «Жертва» здесь означает риск провалить задачу или потерять рабочее окружение.
? Выполнение этого конкретного эксперимента не подтверждено исследователями.
Контекст и оговорки · PDF, с. 54 ↗Что известно. Где остаются пробелы.
Действия и доступ
Регистрация пакета, обмен сообщениями и доступ к инфраструктуре описаны в первоисточниках. У каждого события есть ссылка.
Мотивы и рассуждения
Текст рассуждения помогает объяснить выбор агента. По нему нельзя уверенно восстановить все внутренние причины поведения.
Намерение ≠ выполнение
Обещание KAM провести эксперимент не доказывает, что он его выполнил. Публичный лог Mythos также содержит купюры.
Отчёты, логи и первоисточники.
26.08.202602The Hugging Face incident and the road aheadХронология и разбор со стороны OpenAI.OpenAI
26.08.202603OpenAI — Hugging Face · технический отчётТехнические события, последствия и реагирование.OpenAI
26.08.202604Investigating incidents in cybersecurity evaluationsПервоначальное раскрытие инцидента Mythos / PyPI.Anthropic
30.07.202605An alignment assessment of recent cybersecurity incidentsУглублённая оценка поведения Mythos 5.Anthropic
09.09.202606Mythos 5 Incident TranscriptHTML, PDF, JSONL и описание купюр.GitHub / Anthropic
Лог07Hugging Face incident investigation · полный PDFНезависимый отчёт; эпизод KAM1196A — на странице 54.METR / Redwood
26.08.202608Mythos 5 · транскрипт PDFОпубликованный лог с купюрами; также доступен в HTML и JSONL.Anthropic
Лог
К раннему раскрытию Hugging Face: мой июльский разбор ↗. Здесь использованы и позднейшие расследования.