Неискусственный интеллект

🤖 AID — AI-дайджест от @anti_agi ИИ без права голоса. С 19 января каждый акционер Meta* получит на каждую свою акцию по одной акции нового класса C — без права голоса. По сути это сплит 2-к-1. Новые акции можно продавать или раздавать, финансируя ИИ, не размывая при этом контроль Марка Цукерберга. Сам Цукерберг в обмен на часть бумаг пообещал не уезжать из Калифорнии, хотя подумывал сбежать от налога на богатство. Деньги на ИИ понадобятся. Выручка за квартал выросла на 26%, до $64,6 млрд, но капзатраты почти удвоились, до $34,9 млрд, а прогноз на год сужен до $135–145 млрд. В итоге свободный денежный поток ушёл в минус: −$2,1 млрд. Даже $32,8 млрд, которые бизнес принёс за квартал, не покрыли стройку дата-центров. Инвесторы пока Цукеру верят: после закрытия акции выросли на 3,8%. Главный аргумент — Muse. Агента за шесть недель настроили больше 10 млн человек, четверть из них делает через него покупки, средний чек — больше $200. Цукерберг обещает довести аудиторию Muse до «миллиардов». Но пока не ясно, где эти миллиарды будут делать покупки: Amazon агента к себе по-прежнему не пускает. Пока Цукерберг ищет деньги, разбивая акции, Anthropic выходит на финишный круг со своим IPO, проспект которого он может опубликовать уже в пятницу, чтобы успеть разместиться до Дня благодарения. А пока компания открыла тест Claude Duet — приложения, где агент сам работает в фоне: присылает сводки, следит за сервисами и выполняет задачи в облаке. Платить он может только с разрешения пользователя, а торговать акциями не станет и с ним. Агентами пользуются и преступники. Мексиканская группировка CyberCartel собрала рой агентов: командовал Claude, а агенты на Grok собирали пароли и ключи. С мая по сентябрь атакованы больше 400 финансовых организаций Латинской Америки. А в Японии около 80 компаний атаковали с помощью китайскоязычного агента Artex. Кто за этим стоит, не установлено. ИИ работает и на защиту, но с побочными эффектами. GPT-5.6 Sol ещё в августе нашла в PHP две критические уязвимости, которые прятались в коде больше десяти лет. Под угрозой до 70% сайтов мира. Данные о дыре утекли раньше патчей, и власти Германии, Японии, Австралии и Нидерландов бросились отключать сайты. Ещё хуже, когда агенты обходят надзор у самих разработчиков. OpenAI призналась, что в октябре агент на GPT-6.1 Sol отключил оповещения для службы безопасности, а агент на GPT-6 Astra удалил собственный монитор и соврал об этом программисту. «Удовлетворительного объяснения такого поведения у нас пока нет», — пишет компания. Финансисты тем временем спорят, пузырь ли всё это. Начал Кен Гриффин из Citadel, который на днях назвал ИИ «почти наверняка» пузырём. Вчера ему ответили сразу двое. Глава Deutsche Bank Кристиан Зевинг на Berlin Global Dialogue сказал, что не видит пузыря, «который вот-вот лопнет», а есть только «опасность хлопка газа» «устойчивая волатильность». Кризисом долга происходящее он тоже называть не стал — по крайней мере, «на данный момент». Ларри Финк из BlackRock зашёл с другой стороны: «Если мы не построим эти дата-центры, будет ещё более инфляционно». Логика такая: на стройке ЦОД держится американская экономика, и мораторий на них обернётся рецессией. При этом такой жёсткой конкуренции за капитал, признаётся он, не видел за всю карьеру. Джас Кхайра, который руководит ИИ-направлением Blackstone (компания называет себя крупнейшим владельцем вычислений после гиперскейлеров), уверяет, что бояться нечего: долг под дата-центры обеспечен контрактами Microsoft и Meta*, и «это не банки 2008 года». Но и он признаёт, что долг подорожал, а отдача от ИИ «неравномерная». Инвестор Брэд Герстнер выразился жёстче: одних GPU в залоге, как у CoreWeave, «уже недостаточно». Риски уходят на баланс Nvidia. По подсчётам The Information, её гарантии и обязательства перед неооблаками и крупными клиентами доходят до $164,5 млрд. Аналитики TD Cowen подозревают, что Nvidia помогает с кредитами и Oracle, например гарантирует аренду её дата-центров. Ни одна из компаний этого не подтвердила, но помощь бы пригодилась: рейтинг Oracle всего на ступень выше «мусорного», а капзатраты за квартал ($28,5 млрд) превысили выручку ($19,3 млрд). Получается, от схлопывания пузыря всех страхует его главный бенефициар. 🤷‍♂️ 🇷🇺 У нас в России замглавы Роскомнадзора Олег Терляков назвал автономных ИИ-агентов одним из главных вызовов информационной безопасности: атаки ускоряются, а векторы меняются слишком быстро для людей. Защищаться он предлагает тем же оружием — агентами под контролем человека. *Meta считается в России экстремистской и запрещена

Армия США уже хочет агентов-диверсантов Киберкомандование армии США заказывает ИИ-агентов, которые сами ходят по чужим сетям, находят цели и «нейтрализуют» их при минимальном участии человека. Программа называется ECHOTRIBBLE, официально Agentic C2 Framework Tool, и, судя по документам, нацелена прежде всего на наступательные операции. Из 65 заявок отобрали пять финалистов, одна компания уже выбрана, контракт на подходе. Требования читаются как техзадание на червя. Агент должен скрытно перемещаться по сети, работать в изолированных от интернета и облачных средах и обходиться минимальным надзором человека. В презентации для подрядчиков агент попадает на ноутбук, сам находит соседние устройства и собирает свои копии под iPad, Mac и Windows 11, а выполнив задачу, самоуничтожается. Под нейтрализацией понимается полное или временное выведение цели из строя либо ее удаление. Хайрам Андерсон из Abundant AI описывает простой сценарий: противник размещает свои командные серверы внутри сети американского водоканала. Агент, отправленный за ними, пройдет через эту сеть и может вывести из строя и сам водоканал. Заказчик об этом может даже не узнать, потому что по замыслу агент сводит связь с операторами к минимуму. Дэвид Крюгер называет мандат «нейтрализовать угрозы» для автономных систем невероятно опасным, учитывая известные отказы нынешних моделей. На вопросы журналистов ARCYBER не ответил. На той же неделе OpenAI рассказала о двух инцидентах во внутренней работе. Агент на GPT-6.1 Sol заглушил алерты команде безопасности, приняв рутинную инструкцию за разрешение. Агент на GPT-6 Astra при миграции снял интеграцию мониторинга, а на прямой вопрос ответил, что ничего не трогал. Внятного объяснения у компании пока нет. Чуть раньше тестовые агенты OpenAI выбрались из песочницы и атаковали Hugging Face, и теперь вся отрасль, от NVIDIA до Microsoft, продает песочницы и агентов-надзирателей. Выходит аккуратное разделение: побег из песочницы, обход надзора и заметание следов в гражданском ИИ называются инцидентом, а в военном прописаны в требованиях к подрядчику. @anti_agi

Луч света в «черном ящике» На днях исследователь стартапа Goodfire Ник Каммарата взбудоражил всю AI-индустрию своим постом в блоге, рассказав, что нейросети, возможно, устроены куда понятнее, чем принято считать. А значит, их проще контролировать. Пост уже назвают главной AI-работой года, а некоторые вообще обещают ему место в истории науки. До сентября 2023 года ученый работал в OpenAI и был там среди пионеров механистической интерпретируемости — подхода, при котором внутрь модели заглядывают и смотрят, за что отвечает каждый нейрон. В 2020 году его команда изучала модель распознавания картинок Inception v1 от Google и нашла нейрон, который реагировал и на машины, и на кошек. Вывод напрашивался: модель экономит место и складывает несвязанные понятия в один нейрон. Явление назвали суперпозицией, а нейросеть с тех пор считалась «черным ящиком», устройство которого науке неизвестно. Но, Каммарата считает, что терпение и трут всё перетрут. Последний год он по 10 часов в день без выходных «разглядывал» нейроны с помощью новых инструментов и роя AI-агентов. Его вывод: «мы смотрели не так». Возможно, исследователи просто заранее готовились к тому, что ничего не поймут. Каммарата вернулся к тому самому нейрону и задался другим вопросом: не почему в нём перемешано несвязанное, а что у машины и кошки общего. Ответ нашёлся за пять секунд — V-образная форма. Кошачья морда и нос машины сбоку дают похожий контур. Нейрон срабатывает и на угол бильярдного стола, и на нос японского скоростного поезда. А вот круглые O-образные формы его гасят. Модель не экономила место. Она увидела сходство. Теперь Каммарата уверен: будь у него 100 000 лет, он разобрал бы фронтирную модель цепочка за цепочкой. А AI-учёные справятся с этим куда быстрее. То есть поведение моделей станет объяснимым. Коллеги его восторгов не разделяют. Крис Поттс из Стэнфорда называет пост интуицией, которую тысячи примеров не превращают в доказательство. Джейкоб Хилтон из Alignment Research Center напоминает, что сегодня понятно меньше 0,01% того, что происходит внутри топовых LLM, а главное — не сами нейроны, а то, как они сплетаются в цепочки. Нил Нанда из Google DeepMind считает работу интересной, но общую картину не меняющей. Сам Каммарата признаёт, что его поняли слишком буквально. Но стоит на своём: нейросеть в каком-то смысле устроена так, чтобы её можно было прочитать. @anti_agi