# DianpingSpider

**Repository Path**: mtrdong/dianping-spider

## Basic Information

- **Project Name**: DianpingSpider
- **Description**: 基于 Scrapy 框架的大众点评爬虫
- **Primary Language**: Python
- **License**: MIT
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 2
- **Forks**: 0
- **Created**: 2023-12-15
- **Last Updated**: 2024-03-22

## Categories & Tags

**Categories**: Uncategorized

**Tags**: Scrapy, Spider

## README

# DianpingSpider

#### 介绍
> 基于 Scrapy 框架的大众点评爬虫
> 1. 通过浏览器登录和过验证（手动）
> 2. 支持设置代理
> 3. 支持反字体反爬
> 4. 爬取内容：城市列表（城市名称，城市拼音）、分类列表（分类名称，分类编号）、店铺信息（店铺名称，店铺地址，所在城市，店铺星星，星星分数，评价数量，消费价格，店铺评分，热门商圈）

#### 安装教程
1. 安装[Python3](https://mirrors.huaweicloud.com/python/)
2. 安装依赖库
   > 在 requirements.txt 文件所在目录下执行命令（或指定 requirements.txt 文件的绝对路径）
   > ```shell
   > pip install -r requirements.txt
   > ```

#### 使用说明
1. 运行爬虫
   > 在项目根目录下执行命令：
   > ```shell
   > scrapy crawl 爬虫名称
   > ```
2. 数据保存
   > 爬虫运行完毕后，数据会保存到项目根目录下的`data`目录
3. 爬取`店铺链接`之前，必须先爬取`城市`和`分类`
4. 爬取`店铺信息`之前，必须先爬取`店铺链接`