Как повторить
- Проверьте версию Python командой
python3 --version. Нужна 3.12 или новее. - Дайте агенту (подойдут Claude Code, Cursor или Codex) ссылку https://github.com/ScrapeGraphAI/Scrapegraph-ai и попросите:
поставь ScrapeGraphAI в отдельное виртуальное окружение по README. Агент выполнитpip install scrapegraphaiиplaywright install. Вторая команда скачивает браузер для страниц с JavaScript, поэтому про Playwright лучше предупредить агента заранее. Анонимная телеметрия отключается переменнойSCRAPEGRAPHAI_TELEMETRY_ENABLED=false. - Выберите модель, которая будет вытаскивать данные со страниц:
- Бесплатно: Ollama. Скачайте модель командой
ollama pull llama3.2, в конфиге укажите"model": "ollama/llama3.2"и"model_tokens": 8192. Без последнего параметра модель получит длинную страницу обрезанной. Локальная модель работает медленнее и чаще ошибается на сложных страницах. - Точнее: ключ OpenAI или Gemini. Счёт растёт с числом страниц.
- Облако ScrapeGraphAI: Free даёт 500 кредитов один раз, Starter стоит $20 в месяц за 10 000 кредитов, Growth $100 за 100 000. Загрузка страницы списывает 1 кредит, извлечение данных 5, режим обхода защиты ещё 5. На Starter одно извлечение обходится примерно в $0.01 за страницу, с обходом защиты дороже. Это дороже заявленных $0.004 за компанию у Apify. Цифра не проверена, реальная цена зависит от конкретного скрапера на Apify.
- Опишите задачу, например: «найди владельцев сантехнических компаний в Ванкувере и Калгари, собери company, owner, email в CSV». В библиотеке три блока:
SearchGraphищет в поисковике и разбирает первые результаты,SmartScraperGraphобрабатывает одну страницу,SmartScraperMultiGraphобрабатывает список адресов. Цикл «страницы каталога → сайты компаний → поля» агент пишет сам, и, скорее всего, понадобится несколько уточнений. Просите CSV: для записи в Google Sheets нужен отдельный доступ. - Начните с 10 компаний и замерьте скорость и качество. Убедитесь, что агент построил цепочку «поиск → обход → извлечение» и не додумал структуру ответа по паре примеров. Прочитайте условия использования каталогов: многие запрещают автоматический сбор и блокируют ботов.
- Настройте расписание через
cron(Linux, Mac) или Планировщик заданий (Windows), это можно поручить агенту. В момент запуска компьютер должен быть включён и не спать, поэтому надёжнее перенести скрипт на VPS (арендованный сервер). Сразу заложите удаление дублей по домену компании, иначе каждое утро в таблицу будут попадать те же строки. - Перед рассылкой учтите: имя вместе с почтой относятся к персональным данным, а в Канаде (CASL) и ЕС (GDPR) правила строже, чем в США. Уточните правила своей страны и страны получателей.
Как проверить результат
Прогоните одну нишу и один город целиком. В хорошей таблице у каждой строки настоящий домен: сайт открывается, у домена есть MX-запись (запись почтового сервера), а имя руководителя совпадает с сайтом или карточкой в каталоге. Много одинаковых info@ и contact@ без имён означает, что модель угадывает адреса. Такую таблицу придётся чистить вручную.
Ссылки
- ScrapeGraphAI/Scrapegraph-ai: сама библиотека, лицензия MIT, работает с Ollama, OpenAI, Groq, Azure и Gemini.
- scrapegraphai на PyPI: пакет для установки через pip.
- Ollama: запуск открытых моделей на своём компьютере, страница модели llama3.2.
- Цены ScrapeGraphAI Cloud: тарифы облака и стоимость операций в кредитах.
- scrapegraph-mcp: другой способ подключить ScrapeGraphAI к Claude или Cursor. Работает только через облако с API-ключом, тратит кредиты и не поддерживает Ollama.
- Тарифы Apify: платная платформа готовых скраперов. Free даёт $5 на счёт в месяц, Starter стоит $19.
Источник: valya_denisov, Instagram Reels.