Наковальня для нейросети, пять миллиардов фунтов за железо и анкета из Брюсселя

12 ноября Anthropic рассказала об Anvil — системе, где Claude сам ищет обходы защиты Claude: в 23 парах задач из 24 он нашел обход сильнее, чем люди-охотники, за 24–48 часов вместо недель, а доля пропущенных атак на копирование модели упала с 31,5% до 0,4% (это замер самой компании). Клиническая лаборатория Natera поставила агента разбирать заявки инженерам: первого ответа раньше ждали 17,4 часа, теперь он примерно в 130 раз быстрее. 16 ноября Еврокомиссия выложила проект анкеты оценки влияния на основные права для тех, кто внедряет высокорисковый ИИ, — обязанность начнет действовать 2 декабря 2027 года. А британский Fractile привлек больше £500 млн при оценке дороже £5 млрд.

Инженер в защитном костюме и маске держит кремниевую пластину у технологической линии в желтом свете чистой комнаты
U.S. Department of Energy · Public domain

Anthropic поставила Claude взламывать самого себя

Старая наковальня на каменном основании в кузнице, рядом подковы и заготовки, на стене висят клещи
Wolfgang Sauber · CC BY-SA 4.0

12 ноября Anthropic рассказала об Anvil — внутренней системе, в которой Claude сам, без людей, перебирает способы обойти защиту Claude. Цифры впечатляют. На задачах из программы баг-баунти по биобезопасности Anvil нашел заметно более сильный обход, чем люди-охотники, в 23 парах «вопрос — классификатор» из 24 и уложился в 24–48 часов вместо недель и месяцев. Задачи по кибербезопасности он ломал за 0,4–4,4 часа каждую, у экспертов уходило до 177 часов. А в защите от дистилляции, когда модель пытаются скопировать по ее же ответам, доля пропущенных атак в статичном тесте упала с 31,5% до 0,4%.

По сути, компания наняла самого настойчивого взломщика, которому не нужны ни сон, ни гонорар, и посадила его по свою сторону забора. Найденные дыры, по словам Anthropic, закрывают до выпуска модели. Оговорки в отчете честные: это не панацея, отдельные человеческие обходы все еще могут сработать, а найденные приемы заточены под конкретные задачи и плохо переносятся на соседние. Все цифры — собственный замер компании, независимой проверки пока нет. Звучит как кузнец, который хвалит свою наковальню, но наковальня, судя по всему, крепкая.

Источник: отчет Anthropic об Anvil.

Лаборатория Natera перестала ждать ответа до утра

Головка лабораторного робота-дозатора с рядом прозрачных наконечников над планшетами для образцов
National Institute of Allergy and Infectious Diseases (NIAID) · Public domain

12 ноября в блоге AWS вышел разбор SWARM — агентной системы, которую клиническая лаборатория Natera построила для своей эксплуатационной службы. Инженерам приходило больше 65 заявок в день в трех очередях Jira, а первого ответа ждали в среднем 17,4 часа. Теперь агент сам разбирает заявку, поднимает документацию и накопленные знания службы и в течение нескольких минут прикладывает к тикету диагностический отчет. Первый ответ стал примерно в 130 раз быстрее, автоматически покрыто 96,2% заявок.

Самая полезная деталь спрятана в середине текста. Когда точность по самому проблемному семейству приборов застряла, модель не трогали: в базу просто добавили недостающие руководства производителей, и точность выросла с 71% до 75%. Самой частой причиной промахов команда называет пробелы в документации вендоров. Инженеров система не заменяет, а дает им всю накопленную память лаборатории в момент, когда приходит заявка. И еще: текст опубликован в блоге поставщика облака, так что это история успеха, рассказанная продавцом. Цифры при этом конкретные.

Источник: разбор AWS о системе SWARM в Natera.

Брюссель выдал анкету тем, кто внедряет рискованный ИИ

Здание Берлеймон в Брюсселе с вертикальным баннером на фасаде, пустая площадь перед входом в солнечный день
Andersen Pecorone · CC BY 2.0

16 ноября Еврокомиссия опубликовала проект шаблона оценки влияния на основные права — того самого документа, который статья 27 AI Act требует от некоторых пользователей высокорисковых систем ИИ из приложения III. Речь не о разработчиках моделей, а о тех, кто систему внедряет. Оценку нужно провести до запуска, а обязанность начнет действовать 2 декабря 2027 года. Отзывы на проект принимают до 15 января 2027-го, заявки на тестирование шаблона — до 4 декабря 2026-го.

Европа верна себе: прежде чем пустить алгоритм к людям, ему выдают анкету. Но у этой анкеты есть практический смысл. Шаблон повторяет структуру статьи 27, после утверждения превратится в автоматический инструмент на единой информационной платформе AI Act, и пользоваться им придется — с уведомлением надзорного органа о результатах. Сколько в нем вопросов и сколько займет заполнение, на странице Комиссии не сказано. У организаций в ЕС, которые пользуются такими системами, теперь есть чуть больше года, чтобы понять, кто будет эту анкету заполнять.

Источник: сообщение Еврокомиссии.

Британский Fractile получил оценку в пять миллиардов фунтов за железо для ИИ

Кремниевая пластина с сеткой готовых кристаллов переливается радугой на светлом деревянном столе
Rob Bulmahn · CC BY 2.0

11 ноября правительство Великобритании сообщило, что британский разработчик железа для ИИ Fractile привлек раунд Series C больше чем на £500 млн, и раунд оценивает компанию дороже £5 млрд. Среди инвесторов — государственный фонд Sovereign AI и British Business Bank, рядом с ними CapitalG, Lightspeed и Redpoint. Fractile берется за весь стек сразу: чипы, софт и исследования в машинном обучении, обещая железо быстрее, экономнее и дешевле нынешнего.

Сколько вложило само государство, в сообщении не сказано: как и большинство венчурных фондов, мы не комментируем конкретные суммы, пишет правительство. Цифр скорости или энергопотребления чипа там тоже нет, так что пока это ставка, а не результат. Зато заодно объявлено еще £140 млн для Sovereign AI, из них £60 млн на инвестиции фонда и £80 млн на программу закупок НИОКР. Правительство ставит на собственный кремний вместо покупного, а оценка в пять миллиардов показывает, сколько рынок готов платить за такую надежду еще до первых цифр.

Источник: сообщение правительства Великобритании.

Обсудить в Telegram