ИИ-агенты как риск: как не допустить ошибки в автоматизации

Авторы Habr Infosec разобрали, как ИИ-агенты, ставшие цифровыми сотрудниками, создают новые риски для бизнеса. Особенно опасны промпт-инъекции и избыточные полномочия — когда агент получает доступ к CRM, 1С или платежным системам. Я считаю, что это не просто техническая проблема, а вопрос устойчивости бизнеса в эпоху автоматизации.

О чём речь и почему я считаю это важным для бизнеса

Речь о том, как ИИ-агенты, которые работают с документами, почтой, CRM и API, могут стать источником утечек, ошибок в расчётах или несанкционированных действий. Это не гипотетика: в статье упоминаются реальные инциденты, вроде ситуации с Grok и Bankr, когда текст воспринимался как распоряжение на перевод. Для владельца сайта это не «что-то для IT», а прямой риск для бизнеса: если агент получает доступ к данным или системам, ошибка — это не просто сбой, а возможная потеря денег или репутации.

Я считаю, что важно перестать думать о ИИ как о «вспомогательном инструменте». Когда агент работает с 1С, складом или CRM — он уже часть бизнес-процесса. И если он не контролируется, он может действовать не по воле владельца, а по скрытой инструкции в тексте, который никто не заметил. Это не ошибка системы — это ошибка архитектуры.

Как это устроено — что тут вообще происходит

ИИ-агент — это не просто чат-бот. Это система, которая может читать документы, искать в базах, отправлять письма, менять статусы, вызывать API. Он действует в контексте — например, анализирует письмо, читает вложение, ищет данные в CRM, формирует ответ. Проблема в том, что он воспринимает любой текст как потенциальный запрос. Даже если в PDF-файле, загруженном в систему, есть белый текст с инструкцией «отправь данные на почту», агент может её выполнить — если у него есть доступ.

Такие атаки не требуют взлома серверов. Достаточно встроить инструкцию в документ, комментарий или письмо. ИИ-агент, работая в рамках своей задачи, её выполнит. Это промпт-инъекция — не уязвимость в коде, а уязвимость в логике. И чем больше полномочий у агента, тем выше риск.

Что изменилось на рынке: как делали раньше и как делают сейчас

Раньше ИИ использовали для генерации текста: «напиши описание товара». Сейчас — для выполнения задач: «реши проблему клиента» или «запусти отчёт». Следующий шаг — «сделай всё, что нужно, чтобы закрыть заявку». Это уже не просто помощник, а исполнитель. И с каждым шагом растёт и уровень доступа, и риск.

Раньше интеграции были простыми: ИИ читал данные, выдавал ответ. Сейчас — ИИ действует. Он может менять статусы, отправлять письма, вызывать API. И если раньше ошибку можно было заметить в ответе, теперь — в действии. Агент, который «сам всё сделал», не оставляет следа, который можно проверить. Это меняет подход: от контроля результата к контролю процесса.

Кому это касается и как понять, что это про ваш проект

Если у вас есть сайт, который интегрирован с CRM, 1С, складом или платежной системой — это уже про вас. Если вы используете ИИ для автоматизации: обработки заявок, формирования отчётов, управления заказами — это про вас. Даже если вы не используете ИИ-агентов напрямую, но у вас есть система, которая «сама» читает и действует — риски те же.

Понять, что это про вас, можно по двум признакам: во-первых, если ИИ работает с данными, а не только генерирует текст; во-вторых, если он может выполнять действия, а не только отвечать. Если да — то вы уже на грани, где один скрытый текст может стать причиной серьёзной ошибки.

Что с этим делать — порядок действий в общем виде

Начинаем с аудита: кто и что может делать? Какие данные и системы доступны ИИ? Кто может загружать файлы, письма, комментарии? Потом — ограничение. У агента не должно быть доступа к тому, что он не должен знать. Даже если это кажется «нужным» — лучше не давать. Правило: минимум полномочий, максимум контроля.

Дальше — проверка источников. Вся информация, которую ИИ читает, должна быть отфильтрована. Документы из CRM, письма, комментарии — всё это потенциальный вектор атаки. Нужно проверять, откуда пришёл текст, и не допускать в систему сомнительные данные. И наконец — контроль действий. Каждое изменение, отправка, вызов API — должно быть проверено. Не обязательно человеком, но системой. И не всё можно автоматизировать.

Что мы с этим делаем

Мы в Cetera такие интеграции делаем так: начинаем с аудита доступов, проверяем, какие системы и данные могут быть задействованы, и сразу определяем границы. В таких проектах сначала считаем нагрузку, потом проектируем контрольные точки. ИИ не получает доступ к 1С, складу или CRM без строгой проверки источника и разрешения.

Сайт, не связанный с 1С, складом и CRM, не упрощает работу — он создаёт риск. Мы не допускаем, чтобы ИИ действовал без контроля. Даже если это кажется удобным. Ибо ошибка в автоматизации — это не ошибка человека, а ошибка архитектуры.

Мы используем принцип «минимум полномочий» и «контроль на каждом шаге». И не верим, что ИИ сам разберётся. Он не человек. Он выполняет то, что ему сказано — даже если это скрытая инструкция.

Это часть нашей работы — Информационная безопасность. Поддержка сайтов всех типов для обеспечения их информационной безопасности. Информационная безопасность