AI-driven Data Pipeline Engineer, Automation & Parsing Engineer, AI engineer

Проектирование и разработка автоматизированной платформы сбора, обработки и аналитики данных с интеграцией AI/LLM Спроектировал и реализовал с нуля полный data-pipeline: от автоматического обнаружения источников до структурированного хранения и визуализации — 400+ источников в 10+ локалях Разработал многофазную систему парсинга с адаптивным выбором метода: прямые API-запросы, перехват сетевых вызовов, DOM-парсинг через Playwright — система сама определяет оптимальный способ извлечения данных с каждого сайта Работа с инструментами веб-автоматизации: Playwright, Selenium , Browser Use (Cloud + Legacy CDP), A-Parser , Firecrawl , undetected-playwright — подбор и комбинирование инструментов под специфику каждого источника Интеграция и оркестрация нескольких AI-моделей в pipeline: OpenAI (GPT-4o, GPT-5-mini, o3-mini, o4-mini), Google Gemini (2.5 Flash), Anthropic Claude — подбор модели под конкретный этап обработки с fallback-стратегиями Спроектировал архитектуру PostgreSQL: схемы хранения, дедупликация, версионирование, управление жизненным циклом данных и многое другое Построил многоступенчатый AI-pipeline обработки текстов с использованием нескольких моделей на разных этапах — от сырого HTML до структурированных записей в БД и последующей полу автоматичесской публикации Создал REST API и real-time дашборд для мониторинга прогресса и качества сбора данных Организовал параллельный запуск до 30 AI-агентов с логированием и обработкой ошибок Полный цикл самостоятельно: ресерч инструментов и AI-моделей, выбор архитектуры, разработка, вывод в production Строю автоматизированные data-pipeline с AI на борту — от идеи и ресерча до production. Специализируюсь на интеллектуальном парсинге сложных веб-источников с помощью LLM-агентов, Browser Use, Playwright и адаптивных стратегий извлечения. Оркестрирую несколько AI-моделей (GPT, Gemini, Claude) в многоступенчатых pipeline. Проектирую БД, API, дашборды, инфраструктуру наблюдаемости. Работаю в парадигме AI-first: Claude Code, Codex и Cursor — основные инструменты разработки. Люблю знания, новые технологии и сложные задачи. Сам узнаю и с вами делюсь!

Martin Mkrtchyan·

16

·1·

2026-05-21

·Обсудить в Telegram