20.06.2023
Парсер интернет-магазинов на Scrapy
Figma
Doker
Postgresql
Flask
Python
Scrapy
Разработали и передали заказчику универсальный парсер для сбора информации с интернет-магазинов, с возможностью гибкой настройки параметров парсинга пользователем и с защитой от бана по ip.
- Команда: 5 человек
- Срок: 1 месяц
Клиент
Компания предоставляющая услуги по аналитике маркетплейсов для селлеров.
С какой задачей обратился клиент:
Написать универсальный парсер каталога товаров работающий через пул прокси адресов и с эмуляцией различных браузеров.
- Собранные данные должны были сохранятся в базу данных и в файл формате json
- Параметры парсинга должны устанавливаться через отдельное приложение (фронтэнд)
- Приложение должно включать в себя логирование парсинга и автотесты
- Доступ к управлению парсером через авторизацию пользователя на сайте
Решение
- Разработали дизайн фронтэнда (интерфейса управления приложением) с помощью Figma. Авторизация, личный кабинете, основной функционал по настройке парсера и обработки результатов и логирования
- Реализовали как отдельные приложения парсер на основе фреймворка Scrapy и фронтэнд на основе шаблонов Flask
- Использовали микросервисную архитектуру приложений на основе Doker контейнеров для запуска проекта
- Провели ручное и автоматическое тестирование перед передачей проекта заказчику
Итог
Проект успешно реализован за три недели от поступления технического задания
На проекте работали
PM, дизайнер, frontend-разработчик, backend-разработчик, QA.
Расскажите о Вашей задаче и наши эксперты подберут решение
