Парсер, бот, сервис или агент: чем автоматизировать процесс

Почти любая задача на автоматизацию закрывается одним из четырёх инструментов. Парсер добывает данные, которых у вас пока нет. Бот даёт людям интерфейс там, где они уже сидят. Сервис хранит состояние и связывает системы между собой. Агент получает цель и сам выбирает шаги. Дороже всего обходится не тот проект, где выбрали слишком простой инструмент, а тот, где без причины взяли самый сложный.

Я собираю такие штуки последние несколько лет: Telegram-боты для ивент-операций, FinTech-прототип с AI-слоем, голосовой командный центр над портфелем из 27 проектов, магазин курсов на Shopify. Каждый раз выбор инструмента занимал меньше дня, а ошибка в этом выборе стоила недель. Ниже то, как я его делаю.

Четыре инструмента и что каждый на самом деле делает

Парсер превращает чужие данные в вашу таблицу. Цены конкурентов, вакансии, объявления, новости отрасли, каталог поставщика без нормального API. Он работает по расписанию, ничего не решает и не разговаривает.

Бот это интерфейс. Он живёт в Telegram или в другом мессенджере и умеет спросить, показать, напомнить, принять файл. Мозгов у него ровно столько, сколько вы в него положили. Главная его ценность не в интеллекте, а в том, что человеку не надо ставить приложение и заводить пароль.

Сервис это ваш собственный бэкенд. У него есть база, права доступа, история операций и API. Он нужен, когда данные должны пережить перезагрузку, когда с ними работают разные люди с разными ролями и когда две чужие системы должны узнать друг о друге.

Агент получает цель, а не инструкцию. Он сам решает, в каком порядке действовать, каким инструментом воспользоваться и когда остановиться и спросить человека. Это самый дорогой и самый капризный вариант из четырёх.

Разница между ними не в количестве AI внутри. Она в том, кто принимает решение: расписание, пользователь, ваш код или модель.

Парсер: данные, которых у вас пока нет

Парсер выглядит самой простой задачей, пока вы не запустили его в продакшн. Дальше начинается интересное.

Сначала проверьте, есть ли API. Официальный API почти всегда дешевле в поддержке, чем самый аккуратный скрапер, даже если за него просят денег. Разбор HTML ломается тихо: сайт поменял вёрстку в четверг, а вы узнали об этом через две недели по кривому отчёту.

Дальше правовая часть. Я не юрист, но два факта знать полезно. В США апелляционный суд девятого округа в деле hiQ Labs против LinkedIn оставил в силе запрет на блокировку скрапера и исходил из того, что закон о компьютерном мошенничестве написан против взлома защищённых систем, а не против сбора страниц, открытых всем желающим (решение 2022 года). В ЕС статья 4 Директивы 2019/790 разрешает text and data mining, но правообладатель может явно от этого отказаться (EUR-Lex). Персональные данные живут по отдельным правилам GDPR, и «оно же было в открытом доступе» там не аргумент.

Что ломает парсеры на практике:

• Структура страницы меняется без предупреждения. Пишите проверки на форму данных, а не только на их наличие.
• Пагинация и лимиты. Гоните запросы медленнее, чем можете. Заблокированный IP стоит дороже сэкономленного часа.
• Дубли. Один и тот же товар с тремя разными артикулами превращает отчёт в мусор. Нормализация занимает больше кода, чем сам сбор.
• Тихие пустые результаты. Скрапер отработал, ошибок нет, строк ноль. Это должно поднимать тревогу, а не считаться успехом.

Отдельно про AI внутри парсера. Модель хорошо вытаскивает смысл из грязного текста: сводит разные формулировки одной вакансии к общему формату, вытягивает характеристики из описания. Модель плохо ходит по страницам и плохо считает. Сбор и навигацию оставьте коду, а модели отдайте разбор того, что собрали.

Такой же принцип я держал, когда писал парсер markdown для этого блога. Он занимает двести строк, не тянет ни одной внешней зависимости и поддерживает ровно тот набор разметки, который я реально использую. Соблазн подключить готовую библиотеку был, но сборка на Railway идёт с замороженным lock-файлом, и лишняя зависимость стоила бы дороже, чем свой код.

Бот: интерфейс, а не мозг

Бот выигрывает там, где надо снять трение. Человеку не нужно скачивать приложение, регистрироваться и вспоминать пароль. Он уже в мессенджере.

В TT Production Event Planner вся задача была в этом. Заявки на звук и свет приходили в свободной форме, менеджер тратил полчаса на уточнения по каждой. Бот проводит человека по выбору оборудования и площадки и отдаёт менеджеру уже структурированный бриф. Ни одной строчки AI в критическом пути, и это правильно: выбор из каталога не требует модели.

AI в боте оправдан, когда на входе неструктурированный текст. Event AI Agent как раз про это: люди пишут о мероприятии как умеют, а на выходе нужен разобранный запрос с датой, форматом и бюджетом.

Где бот заканчивается: сложные экраны, длинные формы, таблицы, личный кабинет с историей. Там начинается mini app. Границу я подробно разбирал в статье про бота и mini app, а цены на оба варианта в разборе стоимости.

Сервис: когда без своего бэкенда не обойтись

Признаки, что вы переросли бота и скрипты по расписанию:

• Данные надо хранить дольше одной сессии и показывать разным людям по-разному.
• Появились роли: клиент, оператор, админ.
• Две внешние системы должны обмениваться данными, и кто-то должен разруливать их конфликты.
• Нужна история: кто, что и когда поменял.

Сервис редко бывает эффектным. Его ценность в том, что он скучный и предсказуемый. В NeuroWallet я собирал прототип кошелька с дашбордом, виртуальной картой и AI-подсказками именно как продукт с состоянием, а не как бота: без нормального хранения баланса и истории операций демка развалилась бы на втором экране.

Практическая деталь, которая экономит месяцы: заводите вебхуки и очередь сразу. Синхронный вызов чужого API прямо из обработчика формы работает ровно до первого его падения в пятницу вечером.

Агент: когда цель важнее шагов

Агент оправдан, когда маршрут заранее неизвестен. Собрать материал по теме, сравнить источники, подготовить черновик, вернуть его на проверку. Если шаги известны и не меняются, вы пишете обычный пайплайн, и он будет дешевле, быстрее и надёжнее.

Мой рабочий пример это Pulsara, голосовой командный центр над портфелем из 27 проектов. Голосом можно спросить статус проекта или поручить аудит, и система запускает работу в нужной папке. Внутри маршрутизатор и семь специализированных агентов с памятью. Три решения там оказались важнее всей архитектуры: ключ API остаётся на сервере, браузер получает только временный токен; права агентов ограничены папкой конкретного проекта, без доступа к Git и деплою; карты архитектуры кэшируются, иначе каждый запрос стоил бы как отдельная сессия.

Полную методику с ролями, границами автономии и проверкой источников я вынес в отдельную статью про AI-агентов для бизнеса. Если коротко: агент без ограничений это не мощный агент, а неуправляемый.

Как выбрать за пять минут

Задайте четыре вопроса подряд и остановитесь на первом «да».

1. 01Нужны данные, которых у вас нет, и маршрут их сбора постоянен? Парсер.
2. 02Нужен человек в цикле, и он уже в мессенджере? Бот.
3. 03Нужно состояние, роли и связь между системами? Сервис.
4. 04Маршрут меняется от задачи к задаче, а результат может проверить человек? Агент.

Чаще всего рабочее решение это комбинация: парсер собирает, сервис хранит и раздаёт, бот показывает людям, агент подключается на том одном участке, где действительно нужна свобода выбора. Строить всё сразу не нужно. Начинать со всего сразу нельзя.

Сколько это стоит и сколько занимает

Ориентиры, по которым я считаю сам.

Парсер под один источник с выгрузкой в таблицу или базу: от одной до двух недель. Каждый следующий источник добавляет примерно треть от первого, потому что нормализация уже написана.

Бот со сценарием и передачей заявки человеку: от двух до трёх недель. С AI-разбором свободного текста добавьте неделю на промпты и на тесты того, что модель отвечает предсказуемо.

Внутренний сервис с ролями и одной внешней интеграцией: от четырёх до восьми недель. Вторая интеграция стоит дороже первой, а не столько же.

Агентный сценарий поверх готовых данных: от трёх до шести недель до состояния, когда его можно давать людям. Больше половины времени уходит не на сборку, а на границы: что агент делает сам, что показывает на подтверждение, как объясняет источник каждого факта.

Ставки объясняют разброс между сметами сильнее, чем объём работ. Команды из Восточной Европы берут от 30 до 65 долларов в час, из Западной от 80 до 140. Стартовые цифры по моим форматам работы лежат на странице цен.

Три ошибки, которые я вижу чаще всего

Автоматизируют процесс, которого нет. Пока порядок действий живёт в голове одного сотрудника и меняется каждую неделю, автоматизировать нечего. Сначала опишите процесс словами. Половина проектов на этом шаге закрывается, и это хороший исход.

Берут агента там, где хватило бы скрипта. Агент дороже в разработке, дороже в эксплуатации и заметно труднее в отладке. Если вы можете нарисовать блок-схему без ветвлений по смыслу, вам нужен пайплайн.

Не закладывают проверку. У любой автоматизации должен быть ответ на вопрос «откуда эта цифра». Парсер обязан хранить исходную страницу или её хеш. Агент обязан показывать источник факта. Без этого первая же ошибка обнуляет доверие ко всей системе, включая ту её часть, которая работает правильно.

С чего начать

Возьмите один процесс, который повторяется хотя бы раз в неделю, съедает заметное время и заканчивается результатом, который кто-то может проверить глазами. Опишите вход, выход и критерий приёмки. Дальше выбирайте инструмент по четырём вопросам выше.

Первую версию я стараюсь довести до живых людей за две недели. Не потому, что это красиво звучит, а потому, что до контакта с реальными данными все оценки остаются гипотезами. Что реально помещается в такой срок, я разбирал в статье про две недели. Мой процесс одинаков при любом бюджете, потому что дорогие ошибки случаются на первом шаге, а не на последнем.

Частые вопросы об AI-автоматизации

Чем AI-автоматизация отличается от обычной?

Обычная автоматизация выполняет заранее описанные шаги. AI-автоматизация добавляет работу с неструктурированными данными: свободный текст, документы, речь, изображения. Модель нужна там, где правило нельзя записать явно. Всё остальное дешевле и надёжнее делать кодом.

Законно ли парсить сайты?

Зависит от того, что вы собираете и где. В США суд девятого округа в деле hiQ против LinkedIn исходил из того, что закон о компьютерном мошенничестве нацелен на взлом защищённых систем, а не на сбор общедоступных страниц. В ЕС действует исключение для text and data mining с правом правообладателя от него отказаться. Персональные данные регулируются GDPR отдельно, независимо от того, были они в открытом доступе или нет. Пользовательское соглашение сайта и его robots.txt тоже имеют значение. Спорные случаи стоит показать юристу до запуска, а не после.

Нужен ли AI-агент малому бизнесу?

Обычно нет, во всяком случае не первым шагом. Начните с одного процесса и самого простого инструмента, который его закрывает. Агент оправдан, когда маршрут решения меняется от задачи к задаче и вы уже умеете проверять результат.

Сколько стоит автоматизация одного процесса?

Парсер под один источник это одна-две недели работы, бот со сценарием две-три, внутренний сервис с ролями и интеграцией четыре-восемь. Итоговая цифра зависит от ставки команды и от количества внешних систем в контуре. Стартовые ориентиры есть на странице цен.

Можно ли обойтись готовыми no-code сервисами?

Часто да, и это нормальный первый шаг. Связки вроде n8n, Make или Zapier закрывают простые цепочки быстро. Свой код становится выгоднее, когда появляются нестандартная логика, чувствительные данные, заметный объём вызовов или требование хранить всё на своей стороне.

Что делать, если модель иногда ошибается?

Считать это нормой и проектировать под неё. Разделите действия на обратимые и необратимые. Черновик, подборку и классификацию модель может отдавать сама. Отправку письма, платёж, удаление и изменение прав доступа должен подтверждать человек. И у каждого факта должен быть виден источник.

Что я считаю хорошей автоматизацией

Хорошая система не заставляет никого разбираться в моделях и токенах. Она объясняет обычными словами, что сделает, какие данные ей нужны, сколько это будет стоить и в какой момент остановится и спросит вас. Её можно выключить без разработчика. Её результат можно проверить.

Ещё один признак, который я ценю выше остальных: систему не страшно оставить работать в пятницу вечером. Если страшно, значит, где-то не хватает границ, а не мощности.

Если у вас есть повторяющийся процесс, который хочется проверить, напишите мне. Начнём с одной задачи и с результата, который можно измерить.