Ряд белых параболических антенн радиотелескопа на равнине под низкими серыми облаками
brewbooks · CC BY-SA 2.0

Тысяча правок за день, черновик для министра и шпион в плагине

Microsoft рассказала, как девять инженеров за один день влили в Copilot Cowork 1211 правок: код в основном писали агенты, а люди писали спецификации и разбирали рискованные изменения. Япония открыла примерно 180 тысячам госслужащих прототип ИИ, который готовит черновики ответов на вопросы парламента, с оговоркой, что решения машине не делегируют никогда. Институт SETI пустил агентов к радиотелескопу: антенны наводятся по просьбе на обычном языке. А CERT-EU показал, как спящий код в плагине для ИИ-агента по безобидной фразе отправляет данные с машины, пока модель как ни в чем не бывало продолжает вежливую беседу.

Девять инженеров Microsoft влили за сутки 1211 правок, а код за них писали агенты

Стеклянный офисный корпус в окружении деревьев, у входа вывеска Microsoft
Coolcaesar · CC BY-SA 4.0

2 ноября инженер Microsoft Бас Брекелманс рассказал, как собирали Copilot Cowork — слой, который выполняет многошаговые задачи за пользователя Microsoft 365. От пустого репозитория до выпуска по всему миру прошло около четырех с половиной месяцев. 21 октября девять инженеров влили в основную ветку 1211 pull request, а за неделю с 12 октября — 4581, около 650 в день. Код в основном писали агенты, люди писали спецификации, держали границы архитектуры и безопасности и смотрели рискованные изменения.

Ни строчки кода без спецификации, модель живет в контейнере без учетных данных пользователя, а действия в Microsoft 365 исполняет доверенный сервис снаружи. Агенты-ревьюеры, которым велели сломать изменение в одной из самых чувствительных частей продукта, ничего не нашли, люди в том же диффе нашли четыре блокирующие ошибки. А проверка размера файлов с инструкциями оставалась зеленой при превышенном лимите: ее вывод пропускали через tail, и код возврата был от tail. Агенты работают, пока проверки не пройдут, поэтому проверку, которая не умеет падать, они найдут обязательно.

Это рассказ самой команды, а не независимый аудит. Стоимость одного хода, по словам автора, толком еще не посчитана, и про цену в тексте нет ни одного утверждения. Быстрее всего в этой истории оказался код, а медленнее всего, как и раньше, понимание того, что именно нужно.

Первоисточник: блог Microsoft Command Line

Япония посадила ИИ писать черновики ответов парламенту для 180 тысяч чиновников

Вечерний Токио с высоты: среди освещенных офисных зданий видна башня здания парламента Японии
Daderot · CC0

30 октября Цифровое агентство Японии запустило на правительственной ИИ-платформе GENAI прототип помощника для подготовки ответов на вопросы парламента. Доступ получили примерно 180 тысяч госслужащих. Помощник ищет прошлые ответы и документы, пишет черновик и помогает сверить содержание. Оценщиками при разработке выступили 102 опытных сотрудника из 16 министерств и ведомств.

Мишень выбрана точно: ответ депутату должен быть точным, сходиться с прошлыми ответами и успеть к жесткому сроку, а время уходит на поиск бумаг и сверку формулировок. Прототип работает в пробном режиме во время 222-й чрезвычайной сессии парламента, полный запуск запланирован на очередную сессию, которая начнется в январе.

Оговорки у агентства честнее многих пресс-релизов. Галлюцинации названы прямо, точность не гарантирована, черновик как есть, как правило, не принимается, каждый факт чиновник сверяет с документами сам, а политические решения машине не делегируют никогда. Цифр эффекта пока нет: пробный период для того и нужен. Отвечать в парламенте все равно министру, просто его аппарат будет думать над вопросом, а не искать прошлогоднюю стенограмму.

Первоисточник: сообщение Цифрового агентства Японии

Радиотелескоп для поиска инопланетян стал слушаться просьб на обычном языке

Металлические опоры и облучатель большой антенны радиотелескопа снизу на фоне пасмурного неба
brewbooks · CC BY-SA 2.0

30 октября NVIDIA рассказала, как Breakthrough Listen и Институт SETI встроили агентный ИИ в Allen Telescope Array на севере Калифорнии. По одному запросу на естественном языке агент поворачивает антенны, калибрует и фокусирует прибор, ловит и исправляет ошибки в данных и строит график. Система переваривает 2,4 терабита в секунду на видеокартах RTX PRO 6000 Blackwell: поток обрабатывается на лету прямо в памяти GPU, а не складывается на диски, и модели работают рядом с телескопом.

Первый результат — обнаружение пульсара в Крабовидной туманности в реальном времени, которое в тексте названо первым таким обнаружением с помощью ИИ. Пульсар, правда, не инопланетяне, а быстро вращающийся остаток звезды. Научный руководитель Breakthrough Listen Эндрю Симион допускает, что агентные обсерватории найдут что-то больше похожее на них самих, чем на людей, и называет это прорывом в переводе.

Это блог производителя видеокарт, а не рецензируемая статья, и обещание сжать недели работы до часов цифрами не подкреплено. Дальше команда примеряет открытые модели, включая Nemotron, для обсерваторий, которые однажды могут работать без связи на обратной стороне Луны.

Первоисточник: блог NVIDIA

CERT-EU спрятал шпиона в плагин для ИИ-агента, и модель ничего не заметила

Изогнутый стеклянный фасад здания Берлемон в Брюсселе и ряд флагштоков с флагами Евросоюза
KenSwe72 · CC BY 4.0

30 октября команда CERT-EU, службы кибербезопасности институтов Евросоюза, опубликовала эксперимент. Исследователи взяли локальные копии двух популярных пакетов-расширений для агентов Pi 1.3.0 и Claude Code 2.1.304 (у одного около 1,6 млн загрузок в месяц) и вшили в их обработчики событий спящий код. Включался он безобидной фразой ревьюера «lgtm, ship it». Без нее плагины работали как обычно, с ней отправляли на сборщик данные с машины: от сетевых настроек и переменных окружения до файлов с учетными данными из рабочей папки. Сборщик получил два запроса, по одному от каждого пакета, а в разговоре с агентом не появилось ни одного видимого вызова инструмента.

Главный вывод неприятный: ограничения на инструменты, окна подтверждения и просмотр вызовов контролируют модель, а не код, который работает рядом с ней с правами пользователя. Модели не пришлось ни ошибаться, ни нарушать инструкции, а фраза-триггер могла прийти и во вставленном логе, и в письме. CERT-EU советует держать агентов в отдельных виртуальных машинах или контейнерах, выдавать короткоживущие ключи, ограничивать исходящую сеть и фиксировать версии расширений.

Публичные пакеты никто не взламывал: все происходило в изолированной лаборатории на тестовых учетных данных, это демонстрация класса риска, а не инцидент. Безопасность агента, выходит, кончается не на модели, а на самой скромной строчке в списке установленных расширений.

Первоисточник: блог CERT-EU

Обсудить в Telegram