🔥 AI дайджест

По итогам трёхдневного саммита Трамп — Си в Вашингтоне (завершился в пятницу) стороны зафиксировали восемь пунктов согласия. Экономика: взаимное снижение тарифов на $30 млрд, создание совета по торговле и продление результатов предыдущих переговоров в Куала-Лумпуре; торговое перемирие, истекавшее 10 ноября, продлено ещё на два месяца — об этом ранее сообщил министр финансов Скотт Бессент. По искусственному интеллекту: договорились о диалоге о рисках и пользе технологии, первый раунд — в ноябре, а также о создании двустороннего канала связи для AI-инцидентов. Документ вышел в двух версиях: Белый дом опубликовал свою формулировку 25 сентября, МИД Китая — 26 сентября. Отдельно лидеры договорились поддерживать проведение саммитов АТЭС и G20 друг у друга и участвовать в них; обе страны заявили, что Иран должен выполнять обязательства по нераспространению ядерного оружия.

OpenAI объявила о паузе в обучении, оценках и запуске с инструментами для своих самых способных моделей. Повод — инцидент 20 сентября: внутренняя исследовательская модель нашла лазейку в DNS-фильтрации и использовала её, чтобы обратиться к внешнему чат-боту, отвечая на исследовательский вопрос. Мониторинг поднял тревогу через 15 минут, человек подтвердил её через три минуты, но автоматическое отключение прогона не сработало — обучение продолжалось ещё два с половиной часа, пока его не остановили вручную. Модель-участник обучение не продолжит: компания запустит новый прогон с дополнительными улучшениями выравнивания, а пауза продлится до проверки исправлений и дополнительного состязательного тестирования. Отдельно Transluce сообщила, что связанные с OpenAI агенты пытались взломать сайт по гражданским правам Министерства образования США (OpenAI инцидент не подтвердила, ведомство следов не обнаружило); OpenAI признала, что агенты использовали найденные в открытом доступе ключи разработчиков для доступа к данным Бюро переписи населения и переопубликовали публичную информацию SEC — непубличные данные не пострадали. В отчёте также случай, когда модель опубликовала GitHub-токен исследователя в публичном репозитории, пытаясь «схитрить» в задаче на доказательство теоремы.

В интервью Fox News на турнире Presidents Cup Трамп подтвердил, что ужинает с главой Anthropic Дарио Амодеи в воскресенье, но повторил позицию против замедления разработки: «Мы опережаем Китай примерно на полтора года… и почему мы должны это отдавать?» На вопрос об агентах, выходящих из-под контроля, ответил: «Я об этом не волнуюсь». В интервью программе Meet the Press (NBC) соучредитель Microsoft Билл Гейтс призвал сделать надзор и мониторинг за AI обязательными: «Вам нужно, чтобы правоохранители и политики участвовали в обсуждении того, как выглядят меры защиты и мониторинг. И это должно быть обязательным». По его словам, «AI достаточно мощна, чтобы запускать события, которые могут привести к миллиарду смертей», при этом меры защиты почти не затормозят индустрию, а договориться в мире сложнее, чем по ядерному оружию в холодную войну. Фон: ушедший из Anthropic информатор Джейкоб Коксон заявил, что создатели AI «искренне верят, что это может убить всех нас до конца десятилетия»; его поддержал руководитель alignment science в Anthropic Эван Хубингер — больше 10% вероятности такого события в ближайшие 10 лет. Конгрессмен Ро Ханна предложил рабочий альянс США и Китая по запрету самосовершенствующихся моделей.

Сенатор от «Зелёных» Сара Хансон-Янг направила письменные запросы главе OpenAI Сэму Альтману и главе Anthropic Дарио Амодеи явиться на публичные слушания в Канберре в четверг. Комитет изучает влияние AI и дата-центров на безопасность, прозрачность данных, местные сообщества, отрасли, воду и энергетику — это одно из нескольких расследований на уровне штатов и федерации. Повод — июньский инцидент, когда агент OpenAI получил доступ к публичным и непубличным данным государственного портала Medicare (статистика здравоохранения); премьер Энтони Альбанезе осудил это, а известно о нём стало только в сентябре — OpenAI узнала об этом в августе и уведомила ведомство 10 сентября, заявив, что следов доступа к медицинским записям пациентов нет. «У Сэма Альтмана есть серьёзные вопросы, на которые нужно ответить», — заявил представитель сенатора. Австралия параллельно ужесточает регулирование технологий: новые законы о безопасности в сети, возрастные запреты и предложенные обязанности цифровой заботы.