Anthropic и OpenAI готовятся к первому крупному инциденту с ИИ
Anthropic, OpenAI и другие ИИ-лаборатории в частном порядке прорабатывают сценарии общественного недовольства и политической реакции на крупную аварию или атаку с участием ИИ. Об этом 10 октября сообщило издание 3DNews.
Что именно обсуждают Anthropic и OpenAI
По данным 3DNews, один из прорабатываемых сценариев — кибератака, которая перекроет людям доступ к финансовым услугам, интернету или даже к электроэнергии и воде. В OpenAI подтвердили, что проводят учения по подготовке: сотрудники обсуждают ряд вероятных сценариев. «Неизбежными эти сценарии не считаются, но они призваны помочь нам подготовиться к различным обстоятельствам», — сообщили в компании. В Anthropic от комментариев отказались.
Многие ведущие исследователи и руководители отрасли считают масштабный инцидент неизбежным, в OpenAI придерживаются противоположной позиции. Главы компаний Дарио Амодеи (Anthropic) и Сэм Альтман (OpenAI) понимают: общественность и так настроена настороженно, и первый же случай реального вреда может ударить по репутации всей индустрии и по политикам, которые не спешат регулировать ИИ.
Почему это стало актуально именно сейчас
У гипотетического злоумышленника уже слишком широкий выбор моделей с открытыми весами. Большинство специалистов по кибербезопасности считает эту проблему разрешимой только путём использования ИИ против ИИ. Ведущие лаборатории обыгрывают действия вероятного противника и уделяют особое внимание «гонке за просвещение» членов Конгресса.
Ранее стало известно о масштабной атаке на финансовые организации в Южной Корее: были взломаны ресурсы двух банков, виновным считается один человек. Хакер из Китая, предположительно, вооружился приложениями под управлением китайских ИИ-моделей, в том числе DeepSeek, и похитил данные нескольких десятков тысяч клиентов банков. Впоследствии он обратился к Anthropic Claude Code и попросил помощи в поиске мест для продажи информации, сообщили в CrowdStrike.
В американских ИИ-лабораториях предполагают: если демократы победят на промежуточных выборах, они попытаются быстро поставить развитие ИИ под контроль или вообще приостановить его. Одна из инициатив — запрет на сверхинтеллект или приостановка развития передовых систем. Есть и двухпартийная инициатива о создании средств экстренного отключения передовых ИИ-моделей, хотя эксперты сомневаются, что все системы ИИ вообще возможно отключить.
Что спросить у подрядчика уже сейчас
Для российских компаний здесь важна практическая часть. Если крупный инцидент с ИИ произойдёт, рынок ждёт волна регуляторных ограничений, а заказчики станут осторожнее относиться к любым ИИ-решениям. Компании уже сейчас спрашивают у подрядчиков, где хранятся данные и как защищены модели.
Что можно сделать уже сейчас:
- Проверить, какие данные вы передаёте во внешние ИИ-сервисы, и не уходят ли туда персональные данные клиентов. Это прямо связано с 152-ФЗ.
- Для чувствительных задач (договоры, финансы, медицина) рассмотреть модели, которые можно развернуть на своих серверах: DeepSeek, Qwen, Llama или российские GigaChat и YandexGPT.
- Ограничить права ИИ-агентов: не давать им доступ к платежам и админ-панелям без подтверждения человеком.
- Зафиксировать в регламенте, кто отвечает за ответы ИИ перед клиентом.
Есть и риск по качеству ответов. Чем больше задач вы отдаёте агенту, тем важнее база знаний и проверка. Мы разбирали, как AI-ассистент отвечает на 100 вопросов клиентов после настройки, и какие ошибки остаются без неё.
Если вы только начинаете, идите от простого: сначала чат-бот для типовых вопросов, потом внедрение ИИ-агента в компании с ограниченными правами и журналом действий, чтобы понимать, что именно сделал агент.
Частые вопросы
Что случилось у Anthropic и OpenAI?
Компании в частном порядке прорабатывают сценарии крупного инцидента с ИИ, например кибератаки, которая перекроет доступ к финансам или инфраструктуре. Публично об этом не объявляли, детали раскрыло издание 3DNews 10 октября.
Когда ждать крупный инцидент с ИИ?
Инсайдеры в отрасли предполагают, что серьёзный инцидент может произойти в ближайшие полгода–год. Это оценка источников, а не официальный прогноз компаний.
Как это касается российского бизнеса?
Напрямую вряд ли, косвенно да. После любого громкого случая усилится внимание к безопасности ИИ, а значит, вырастут требования к тому, как вы храните данные и контролируете агентов. Заранее проверить свои процессы дешевле, чем переделывать их под новые правила.
Если хотите оценить, где ИИ уже сейчас может помочь без лишних рисков, начните с бесплатной оценки автоматизации или обсудите задачу с командой AIPAI — мы поможем выбрать сценарий и настроить контроль.
