ИИ-ассистенты — новая дыра в безопасности. Как компании теряют деньги и данные из-за атак на их чат-ботов

ИИ-ассистенты быстро вошли в корпоративную жизнь: они консультируют клиентов, ищут информацию во внутренних базах и даже генерируют коммерческие предложения. В основе большинства таких решений — архитектура RAG (Retrieval-Augmented Generation): ассистент сначала «вытягивает» данные из базы, потом генерирует ответ.

Ключевая проблема — бизнес редко задумывается о том, что ИИ-модель можно атаковать целенаправленно. Злоумышленникам даже не нужно взламывать серверы или красть пароли, достаточно грамотно «разговаривать» с ботом.

Как атакуют ИИ-ассистентов для бизнеса

Экономическое истощение (Denial-of-Wallet)

Самый массовый сценарий — атака на кошелёк.

Большинство ИИ-агентов работают по модели «оплата за токены» (символы генерации) или по подписке с привязкой к числу пользователей. Бизнес может оплачивать определённое прогнозируемое число токенов и делать использование ИИ-помощника бесплатным для клиентов в расчёте, что все запросы к боту будут сугубо по делу.

Однако достаточно пары злонамеренных пользователей, чтобы все расчёты полетели в тартарары, а бесплатный бот для удобства клиентов оказался поистине «золотым».

Как работает атака:

• Хакеры запускают ботов, которые имитируют осмысленный диалог.
• Спам-боты задают уточняющие вопросы, раздувают контекст, при этом ведут одновременно множество диалогов с ИИ.
• В результате бюджет на токены сгорает за часы.

При этом, если бизнес подключил автоматический переход на более дорогой тариф в случае истощения бюджета на токены и всплеска числа пользователей, атака может продолжаться, пока расходы не достигнут действительно болезненных масштабов.

Инъекции затравки (Prompt Injection)

Более серьёзный риск — утечка данных.

Через грамотно сформулированный запрос злоумышленник может «вытянуть» из ИИ конфиденциальную информацию: служебные документы, номера клиентов, контракты. Помимо того, что это подставляет компанию из-за нарушения законов о защите данных, это грозит репутационными и финансовыми потерями.

Такие атаки называют Prompt Injection — в этом случае сам промпт, который задают ИИ, становится причиной его некорректной работы и раскрытия данных.

При этом специалисты по кибербезопасности уже знают о таких сценариях и активно внедряют их в защищаемые системы.

Систематический OSINT (сбор инсайдов)

Не всегда нужна «дырка» в защите — иногда хватает цепочки невинных вопросов:

• Сколько людей обслуживаете за день?
• Какая загрузка?
• Открыты ли у вас вакансии?

Из таких крошек конкуренты собирают ценную аналитику: ёмкость продаж, динамика спроса, внутреннюю структуру.

Отравление данных (Data Poisoning)

Самый редкий, но тем не менее опасный сценарий. Если ИИ учится на пользовательских запросах, хакеры могут «отравить», то есть испортить датасет:

• Подбросить ложную статистику.
• Сбить приоритеты FAQ.
• Внедрить токсичные или абсурдные данные.

Результат — падение качества ассистента или манипуляция ответами.

Что с этим делать бизнесу

Простых «галочек» в настройках может оказаться недостаточно, чтобы защитить с любовью и трудом внедрённый в процессы ИИ от злонамеренных действий. Безопасность ИИ-ассистентов — это и архитектура, и жёсткие регламенты.

Что советуют эксперты:

• Логировать и анализировать всю активность — от диалогов до всплесков запросов.
• Изолировать внутренние базы: ассистент должен работать с публичными данными.
• Настраивать капчи или подключение операторов, если бот фиксирует аномалии. При подозрительной активности лучше перепроверять вручную, а не задействовать автоматические протоколы для вбрасывания дополнительных денег в инфраструктуру.
• Регулярно чистить обучающие данные и не смешивать пользовательские запросы с внутренними.
• Ограничивать бесплатные функции и тестовые доступы.
• Разделять ИИ по функциям: отдельный модуль для поддержки клиентов, отдельный — для внутренних задач.

При всём при этом ИИ-ассистенты действительно упрощают работу и снижают нагрузку на людей. Но в попытке всё автоматизировать многие бизнесы не замечают, что открывают хакерам новую дверь.

В 2025-м защищать чат-бота — значит защищать компанию. Своевременный аудит, контроль данных и продуманная архитектура — минимум, который поможет не кормить злоумышленников своими токенами и не выносить конфиденциальную информацию наружу.