Парсинг сайта на Python за 30 минут: нейросеть пишет код, непрограммист запускает

История началась с книги о силовых тренировках «The Barbell Prescription» Энди Бейкера и Джонатона Салливана. Автор узнал, что годами покупал неправильный протеин: гидролизат коллагена вместо сывороточного белка. Чтобы выбрать подходящий вариант на сайте badrazves.ru, он решил не листать три страницы каталога вручную, а спарсить все 45 товаров и отдать список нейросети для анализа по составу, цене и проценту белка. Подход описан в публикации на Хабре.

Зачем парсить, если можно просто смотреть глазами?

Ручное сравнение 45 карточек товаров на медленном сайте занимает часы. Парсинг сайта на Python позволяет за пару минут собрать название, цену и описание каждой позиции в структурированный файл (CSV или JSON), а затем передать его нейросети с конкретным запросом: «выбери сывороточный изолят до определённой цены с максимальным процентом белка».

Автор не программист, он переводчик. Код писался совместно с нейросетью Qwen. Это снижает порог входа до уровня «умею поставить Python и запустить скрипт из терминала».

Что понадобится

• Python 3 (любая актуальная версия)
• Библиотеки requests и BeautifulSoup4 (bs4) для загрузки и разбора HTML-страниц
• Доступ к нейросети для написания кода (автор использовал Qwen, подойдёт любая: ChatGPT, GigaChat, YandexGPT)
• Терминал или командная строка
• 30 минут на настройку и первый запуск

Пошаговая инструкция

1. Разберитесь в структуре целевого сайта. Откройте нужную категорию в браузере. Проверьте, как работает пагинация (переключение страниц): если в адресной строке появляется параметр ?page=2, ?page=3, значит, скрипту не придётся имитировать клики. Убедитесь, что текст товаров находится в HTML как текст, а не как картинки. На сайте badrazves.ru названия товаров лежат внутри обычных ссылок <a href="...">Название</a>.

2. Проверьте файл robots.txt. Откройте адрес-сайта/robots.txt и убедитесь, что парсинг публичных страниц не запрещён. Между запросами к серверу ставьте паузу (автор использовал 0,5 секунды), чтобы не создавать лишнюю нагрузку.

3. Установите библиотеки. В терминале выполните:

pip install requests beautifulsoup4

1. Создайте файл парсера. Сохраните скрипт, например, как protein_parser.py. Основная логика:
2. Создать сессию с настройками повторных попыток (retry) и пользовательским заголовком User-Agent
3. Пройти по каждой странице категории, собирая ссылки на товары
4. Для каждого товара загрузить страницу, извлечь название, цену и описание
5. Сохранить результат в CSV и JSON

import requests
from bs4 import BeautifulSoup
import time
import csv

base_url = "https://badrazves.ru/sport/protein/"
products = []

for page in range(1, 4):  # три страницы каталога
    url = f"{base_url}?page={page}"
    response = requests.get(url)
    soup = BeautifulSoup(response.text, "html.parser")

    for link in soup.select("a[href]"):
        # логика фильтрации ссылок на товары
        pass

    time.sleep(0.5)  # пауза между запросами

1. Попросите нейросеть доработать скрипт под ваш сайт. Скопируйте HTML-код одной карточки товара и отправьте нейросети с промптом (промпт, текстовая инструкция для нейросети): «Напиши функцию, которая из этого HTML извлекает название, цену и описание товара». Автор статьи именно так работал с Qwen.

2. Запустите парсер и проверьте результат:

python protein_parser.py
python protein_parser.py --details --format json

Скрипт создаст файлы proteins.csv и proteins.json со всеми товарами.

1. Передайте собранные данные нейросети для анализа. Загрузите CSV или JSON в чат и задайте конкретный вопрос: «Выбери сывороточный концентрат или изолят с содержанием белка выше 80%, отсортируй по цене за грамм белка».

Что делать с этим прямо сейчас?

Авторам Дзена. Парсинг сайта на Python открывает формат, который хорошо заходит: «я непрограммист, но решил задачу кодом с помощью нейросети». Покажите свой реальный кейс с конкретным результатом, как это сделал автор исходной статьи.

Маркетологам. Можно собирать цены конкурентов, ассортимент, наличие товаров на отечественных площадках. Скрипт из статьи адаптируется под любой сайт на OpenCart (один из популярных бесплатных движков для интернет-магазинов) с минимальными правками.

Предпринимателям. Подход работает с российскими e-commerce сайтами без ограничений. Нужен только Python и доступ к нейросети. Если нет своего разработчика, весь код пишет нейросеть по вашему описанию задачи.

Парсинг сайта на Python с нейросетью в роли соавтора кода стирает границу между «умею программировать» и «не умею». Если у вас есть задача, которую лень делать руками, попробуйте описать её нейросети и попросить написать скрипт. Результат, скорее всего, вас удивит.