Создаём Django-приложение, ежедневно проверяющее доску объявлений о работе. Парсим в BeautifulSoup, сохраняем в PostgreSQL, развёртываем на сервере Heroku.
Веб-скрапинг используется для сбора различной информации, в том числе для таких видов данных, которые регулярно обновляются, например, сообщений с досок объявлений о новых вакансиях. В этом проекте мы развернём на сервере Heroku приложение Django, которое посылает соответствующие уведомления о публикации новых мест работы.
План рассказа:
- Создаём Django приложение
- Создаём и настраиваем модель вакансии
- Настраиваем базу данных
- Тестируем приложение
- Настраиваем команды django-admin
- Разёрываем приложение на Heroku
- Планируем расписание скрапинг
1. Создаём Django приложение
Создаём каталог приложения и переходим в него.
Создаём и запускаем виртуальную среду. Устанавливаем необходимые пакеты.
Создаём проект Django.
Заходим в проект и создаём приложение для скрапинга.
2. Создаём и настраиваем модель
Теперь нужно определить единственную модель нашего приложения – модель работы. Она соответствует записям о вакансиях, которые мы будем собирать.
Файл /scraping/models.py
перезаписываем со следующим содержанием.
Зарегистрируем модель в /scraping/admin.py
. Это позволит просматривать записи в стандартной панели администратора Django (скоро мы к этому вернёмся):
Добавялем scraping
в установленные приложения в /jobs/settings.py
.
3. Настраиваем базу данных
Настраиваем базу данных. В нашем примере это будет PostgreSQL (Библиотека программиста писала о том, как начать разбираться в PostgreSQL).
Создаём базу данных для проекта в командной строке. Открываем консоль PostgreSQL:
Создаём пользователя и базу данных, выходим:
В /jobs/settings.py
обновите константу DATABASES
:
Создаём файлы для миграции и переносим базу данных.
Это создаст таблицу с именем scraping_job
. Название соответствует соглашению Django о пространстве имён.
Создаём суперпользователя и пароль:
4. Тестируем приложение
Мы уже что-то сделали, но пока понятия не имеем, работает ли оно. Давайте проверим, прежде чем идти дальше:
Переходом в браузере по адресу http://127.0.0.1:8000/admin
. Входим в систему под суперпользователем, которого только что создали. После входа в систему, нажимаем jobs
в разделе scraping
, затем add job
в правом верхнем углу. Заполняем пример информации и жмём save
. Если вы видите созданную вами запись, то всё работает.
5. Настраиваем команды django-admin
Теперь настроим кастомную команду django-admin, которая производит скрапинг доски с вакансиями. Это то, что мы планируем на уровне инфраструктуры, чтобы автоматизировать скрапинг.
Внутри каталога /scraping
создаём каталог с именем /management
и каталог внутри /management
с именем /commands
. В папке /commands
создаём два файла Python: _private.py
и scrape.py
.
Ниже идёт код скрапера, записанный в scrape.py
. При необходимости перепишете его под страницу, с которой нужно собирать информацию. Здесь это вакансии фирмы, в которой автору интересно работать.
Функция handle
в определении класса Command
сообщает Django, что это пользовательская команда django-admin
. Для самого скрапинга используем BeautifulSoup. В Библиотеке программиста есть популярный видеокурс по парсингу сайтов со ссылками на видео и листингом кода.
Запускаем свежесозданную пользовательскую команду:
Видим следующий вывод:
Запустив снова, увидим следующее:
Разный вывод связан с тем, что в scrape.py
мы запретили добавлять дубликаты записей.
Если у вас установлена программа администрирования баз данных (например, dbeaver), вы также можете проверить строки в БД. Это должно выглядеть приблизительно так, как показано ниже.
6. Развёртываем на Heroku
Перенесём получившийся результат на Heroku. Заморозим зависимости, чтобы Heroku знал, что устанавливать при развёртывании.
Предотвратим перенос ненужных файлов. В .gitignore
запишем следующее:
Создаём файл с именем Procfile
в корне и вставляем приведённые ниже строки:
Первая строка говорит Heroku о запуске web dyno, вторая команда переносит базу данных.
Дерево файлов будет выглядеть так.
Заходим в heroku
из командной строки (heroku login
). Создаём приложение с любым подходящим именем. Имя обязано быть уникальным среди всех приложений Heroku. Вводим heroku create имя-приложения
.
Теперь добавляем следующие строки в самый конец файла settings.py.
Модуль heroku_django позаботится за вас о настройках конфигурации.
Обновляем в настройках DEBUG
, если не хотим развертывать в режиме отладки.
Добавляет файлы в Git.
Пушим приложение в Heroku.
7. Планируем расписание скрапинга
Конечно, можно вручную запускать задание из командной строки
Но мы же хотим автоматизировать процесс! Входим в консоль Heroku, идём в Resources
, затем find more add-ons
.
Находим и нажимаем на дополнение, ищем scheduler
.
Нажимаем, выбираем время, например, everyday at... 12am UTC
. Не пингуем сайты больше чем нужно. Вводим созданную команду и сохраняем.
Теперь просто дожидаем 12:00 UTC или другого времени, и проверяем базу данных.
Заключение
Мы коснулись здесь многих разных вещей: Django, Heroku, веб-скрапинг, PostgreSQL. О всех этих инструмента по отдельности Библиотека программиста уже писала, а объединяющего практического материала – ещё не было. Если что-то оказалось сложным, воспользуйтесь приведёнными ссылками.
Конечно, у вас могут быть другие идеи для использования отложенного скрапинга. Например:
- Компании электронной коммерции хотят отслеживать цены конкурентов..
- Разработчики отслеживают IT-мероприятия и курсы из разных источников.
- Аналитики собирают информацию о конкурсах по анализу данных с нескольких платформ.
Это пособие лишь конкретный пример использования подхода. Дайте нам знать, если вам интересны подобные проекты.
Источники
Специально для сайта ITWORLD.UZ. Новость взята с сайта Библиотека программиста