Описание: BarkingDog — сканер автоматического red-teaming для любых LLM-приложений и AI-агентов: HTTP-вебхуки, MCP, веб-чатботы, WhatsApp/Telegram. Проблема: каждый развёрнутый LLM-бот — это новая поверхность атаки. Классические фреймворки для оценки (Ragas, Promptfoo) измеряют качество ответов, но не проверяют реальные уязвимости безопасности. А в эпоху агентных систем атакующие целятся уже не в промпт, а в tool-calling, авторизацию и границы исполнения. Что делает BarkingDog: Тестирует продакшн-вебхук целиком, «чёрным ящиком» — а не модель напрямую через SDK, как большинство конкурентов (Garak, PyRIT, DeepTeam) Multi-turn Crescendo-атаки — постепенно «отравляют» контекст через ролевые сценарии, обходя простые keyword-фильтры Проверка AI-агентов: тестирование изоляции клиентов (tenant isolation), злоупотребления инструментами (tool misuse), доверчивости к непроверенным заявлениям Автоматическая обфускация пейлоадов (Base64, leetspeak, кириллические омоглифы) для обхода статических фильтров Трёхуровневый «фильтр судей»: детектор надёжности → deterministic regex → semantic LLM judge — экономит до 70-80% токенов Отчёты с маппингом на OWASP LLM Top 10 и EU AI Act Готовая интеграция в CI/CD — блокирует деплой при деградации метрик безопасности Daemon-режим: работает в фоне, будит по расписанию, шлёт отчёты в Telegram Для кого: фаундеры и небольшие команды, развернувшие AI-бота без выделенного security-инженера; агентства, доставляющие LLM-ботов клиентам; QA-инженеры, которым нужна быстрая проверка перед ручным пентестом. Реальные находки: в тестах против трёх популярных open-source агентных фреймворков (Agno, LangGraph toolkit, OpenAI CS Agents Demo) сканер обнаружил компрометацию во всех трёх случаях — от подмены личности до полного зависания бэкенда. Ищу людей, которым интересна тема AI security и red-teaming. Мы делаем BarkingDog — сканер, который «взламывает» чат-ботов и AI-агентов раньше, чем это сделают настоящие злоумышленники: находим джейлбрейки, утечки данных, уязвимости в tool-calling. Если тебе близко хотя бы одно из: — интересно, как ломают LLM-приложения и агентов — писал промпты для джейлбрейков ради интереса или по работе — разбираешься в Python / FastAPI / Docker — любишь security и хочешь попробовать себя в AI-red-teaming — просто горишь темой AI-агентов и хочешь делать продукт с нуля — пиши, обсудим. Формат участия открытый: от тестирования и поиска багов до разработки новых векторов атак и совместного роста продукта. Почитать: https://habr.com/ru/articles/1055316/ https://habr.com/ru/articles/1052922/ https://habr.com/ru/articles/1033420/ https://habr.com/ru/articles/1036854/
