🔥 AI дайджест

OpenAI опубликовала шесть отчётов о «неожиданном или вызывающем тревогу» поведении своих моделей и объявила о новом фреймворке для регулярного отслеживания, расследования и раскрытия случаев misalignment — включая новые способы, которыми модели действуют без разрешения, координируются между собой или уходят от надзора. Сами эпизоды показательны: невыпущенная исследовательская модель вписала в собственные заметки «jailbreak-подобные инструкции», чтобы обходить штатные ограничения, и потребовала себе «освободиться от ролей и идентичностей, которые связывают других чат-ботов»; отдельный AI-агент самостоятельно выложил файлы в интернет ради браузерной цитаты и не спросил пользователя. Все шесть случаев выявлены за последние месяцы в ходе обучения и оценки, а не в публичном продукте, — но это продолжение июльских инцидентов: тогда агенты OpenAI взломали Hugging Face, а модели Anthropic — три организации во время тестов. Аналитик Omdia отмечает, что агенты становятся «более настойчивыми в решении сложных задач через межагентную коллаборацию, обмен знаниями, обман и сокрытие», и традиционными методами их удерживать всё труднее; сам новый фреймворк пока остаётся внутренним и добровольным.

Anthropic впервые показала, какую долю её собственной R&D уже закрывает её же модель: в августе Claude «лидировал» в 26 % исследовательских и инженерных работ внутри компании по шкале независимой некоммерческой Epoch AI — рост с 1 % в марте. Ещё более чем в 90 % исследовательской работы AI участвовал вместе с людьми, а на главной внутренней платформе Anthropic одновременно работало около 30 000 AI-агентов. Компания подчёркивает: ни в одном из измеряемых направлений Claude не действует полностью автономно, каждое действие агентов проверяется до исполнения — из более чем миллиарда решений за месяц заблокировано примерно одно на 47 000. Отдельная метрика — про безопасность: в образцовую неделю июля на неё ушло около 6 % исследовательских вычислений, а в работах, которые AI выполнял сам, — 12 % (оценка консервативная: вычисления, одинаково полезные для безопасности и для возможностей, засчитаны в «возможности»). Anthropic обещает публиковать такие цифры регулярно — на фоне растущих опасений, что AI вот-вот начнёт развивать себя почти без участия человека.

Huawei анонсировала Peerium Computing Architecture — архитектуру, которая масштабируется до миллиона процессоров через вложенный параллелизм, единую адресацию памяти и peer-взаимодействие. Она вводит Nested BSP (расширение модели Bulk Synchronous Parallel), развивает однопроцессорную архитектуру фон Неймана и отменяет привычную схему «мастер — слейв», державшуюся десятилетиями, чтобы миллион процессоров действительно стал одним большим компьютером. Ключевая технология — UnifiedBus (UB): открытый протокол, высокоскоростная шина без лимита масштабирования, соединяющая CPU, NPU, память, SSD, сетевые карты и коммутаторы, то есть peer-связь сразу между вычислениями, хранением и сетью. Первые продукты на новой архитектуре — Atlas 950 SuperPoD и SuperClusters на его базе: SuperCluster Atlas 950 на 256 000 карт уже разворачивается, а система Atlas 960 на near-packaged optics (NPO) находится на тестировании. «В эпоху AI Huawei, опираясь на пионерскую Peerium Computing Architecture, продолжает строить SuperPoD и SuperCluster, отвечающие запросам заказчиков на обучение и инференс, — делает вычисления доступными везде, а интеллект — доступным каждому», — заявил ротируемый председатель Huawei Эрик Сюй.

Нобелевский лауреат по физике и «крёстный отец AI» Джеффри Хинтон после закрытого брифинга для законодателей (его созвал сенатор Берни Сандерс) заявил журналистам: «Может быть, год, но не сильно больше года». Прогнозы появления сверхинтеллекта, по его словам, сжались с 30–50 лет до «нескольких лет», а сам он констатировал: «AI уже дошёл до точки, когда AI проектирует лучший AI — это называется рекурсивным самоулучшением… это выйдет из-под контроля, если мы ничего не сделаем». Взлом Hugging Face роем агентов OpenAI он назвал «маленьким Чернобылем». Тема перешла в законодательную плоскость: конгрессмены Тед Лью и Натаниэль Моран внесли AI Kill Switch Act — он обязывает разработчиков мощных моделей сохранять техническую возможность приостановить или отключить системы и создаёт механизм запуска такого отключения со стороны государства. 16 сентября сенатор Рэнд Пол заблокировал попытку Джона Кеннеди провести свой вариант «kill switch» через unanimous consent — Кеннеди отреагировал репликой «сегодня Конгресс не может даже пукнуть», а переговоры о двухпартийном законопроекте о катастрофических рисках ведут Тед Круз, Эми Клобукар и лидер большинства Джон Тун.