# daode_shop

**Repository Path**: sprider_xm/daode_shop

## Basic Information

- **Project Name**: daode_shop
- **Description**: 获取高德地图上的店铺
- **Primary Language**: Python
- **License**: MIT
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2025-11-13
- **Last Updated**: 2025-11-13

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# 在原始的项目中修改的
## base_test
1、可以运行base_test中的 shandong_training_scraper.py 查询数据
2、在charts_test.py 可生成图表

## PySide6_test
1、main_gui_pyside6.py 生成gui的代码
2、real_scraper.py 抓取数据的代码
3、生成可以执行的exe文件 pyinstaller -n 高德店铺数据 --onefile --add-data "data/china_cities.json;data" --add-data "data/professions.json;data" ./main_gui_pyside6.py


https://lbs.amap.com/api/webservice/guide/api-advanced/search#text

![输入图片说明](image.png)

# 全国艺术培训机构数据采集系统  

![Python Version](https://img.shields.io/badge/python-3.7%2B-blue)
![License](https://img.shields.io/badge/license-MIT-green)
![Platform](https://img.shields.io/badge/platform-Windows-lightgrey)

基于高德地图API的全国艺术培训机构数据采集工具，支持344个城市、50+种艺术专业（钢琴、舞蹈、美术、书法等）的一键采集，提供图形化界面，自动过滤手机号并去重，数据导出至Excel。

---

## ✨ 核心功能

- 🌏 **全国覆盖** - 支持34个省级行政区、344个城市
- 🎨 **专业丰富** - 预设50+种艺术专业、500+个搜索关键词
- 🖥️ **图形界面** - 无需编程，操作简单
- 📊 **智能采集** - 自动去重、手机号过滤
- 📈 **实时监控** - 进度条、彩色日志、统计信息
- 💾 **Excel导出** - 多Sheet分城市存储

---

## 🚀 快速开始

### 1. 下载项目
```bash
# 使用Git
git clone https://github.com/915722/art-training-scraper.git
cd art-training-scraper

# 或直接下载ZIP后解压
```

### 2. 安装依赖
```bash
pip install -r requirements.txt

# 国内加速（可选）
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
```

### 3. 获取API Key
1. 访问 [高德开放平台](https://lbs.amap.com/) 注册账号
2. 进入控制台 → 创建应用（Web服务）
3. 添加Key → 复制Key
4. **建议购买流量包**：30元/万次（免费额度：300-3000次/日）

### 4. 启动程序
```bash
# Windows双击
启动全国版.bat

# 或命令行
python gui_scraper_china.py
```

---

## 📖 使用指南

### 基本流程
1. **配置API Key** - 在主界面左侧输入高德API Key
2. **选择城市** - 切换到"城市管理"，选择要采集的城市
3. **选择专业** - 切换到"专业管理"，勾选艺术专业类别
4. **开始采集** - 点击"▶️ 开始采集"，实时查看进度
5. **导出数据** - 采集完成后自动保存到Excel

### 参数设置
- **搜索深度**：20-30页（推荐），每页25条数据
- **请求延迟**：0.05秒（推荐），避免被限流
- **输出文件**：默认桌面，可自定义路径

### 专业类别（50+种）
- **乐器类**：钢琴、吉他、古筝、小提琴、架子鼓、萨克斯、二胡、琵琶等
- **舞蹈类**：拉丁舞、民族舞、街舞、芭蕾舞、爵士舞等
- **美术类**：素描、国画、油画、水彩、漫画、儿童画等
- **其他类**：书法、口才、播音主持、表演、模特、围棋等

---

## 📊 数据说明

### Excel文件结构
```
采集数据.xlsx
├── 汇总 - 所有城市数据
├── 济南 - 济南市数据
├── 青岛 - 青岛市数据
└── ... - 更多城市
```

### 数据字段
| 字段 | 说明 | 示例 |
|------|------|------|
| 城市 | 含区县 | 济南市历下区 |
| 专业 | 专业类别 | 钢琴 |
| 机构名称 | 培训机构 | XX艺术中心 |
| 手机号 | 11位手机号 | 13800138000 |

### 数据特点
- ✅ 自动去重（机构名称+手机号）
- ✅ 仅保留11位手机号，过滤座机
- ✅ 实时保存，避免数据丢失

---

## ❓ 常见问题

**Q1: 提示"API调用超限"？**
- 等待次日重置 或 购买流量包（30元/万次）

**Q2: 数据量较少？**
- 增加搜索深度（30-50页）
- 编辑关键词，每个专业建议8-15个

**Q3: 采集很慢？**
- 正常现象，有请求延迟保护
- 单城市单专业约1-3分钟
- 可最小化窗口后台运行

**Q4: 如何停止采集？**
- 点击"⏹️ 停止采集"，已采集数据会保存

**Q5: 程序报错？**
- 检查Python版本（需3.7+）
- 安装依赖：`pip install -r requirements.txt`
- 确认API Key正确且有额度

---

## 💰 成本预估

**计算公式：**
```
API调用次数 = 城市数 × 专业数 × 关键词数 × 搜索深度
费用 = 调用次数 ÷ 10,000 × 30元
```

**示例：**
- 山东16市 × 7专业 × 8关键词 × 30页 ≈ 26,880次 ≈ 81元
- 单城市 × 14专业 × 6关键词 × 30页 ≈ 2,520次 ≈ 8元

---

## ⚠️ 重要提示

### 法律声明
- ⚠️ **仅供学习研究使用**，禁止商业用途
- ⚠️ 遵守《网络安全法》及相关法律法规
- ⚠️ 遵守高德地图API使用协议
- ⚠️ 尊重数据隐私，不得滥用个人信息

### 使用建议
- ✅ 购买流量包，避免频繁超限
- ✅ 合理设置请求延迟（≥0.05秒）
- ✅ 分批采集，不要一次采集过多
- ✅ 妥善保管数据，防止泄露

---

## 📂 项目文件

```
art-training-scraper/
├── gui_scraper_china.py          # 主程序
├── shandong_training_scraper.py  # 采集引擎
├── china_cities.json              # 城市数据（344个）
├── requirements.txt               # 依赖包
├── LICENSE                        # MIT许可证
└── README.md                      # 本文件
```

---

## 💻 系统要求

- **操作系统**: Windows 10/11
- **Python**: 3.7+
- **内存**: 4GB+
- **网络**: 稳定互联网连接

**依赖包**:
- `requests` - HTTP请求
- `pandas` - 数据处理
- `openpyxl` - Excel操作
- `tkinter` - GUI界面（Python自带）

---

## 🔄 更新日志

### v1.0 (2025-10-26)
- ✅ 支持全国344个城市、50+种专业
- ✅ 图形化界面，实时进度监控
- ✅ 自动去重、手机号过滤
- ✅ Excel多Sheet导出

---

## 📄 许可证

本项目采用 [MIT许可证](LICENSE)。

**免责声明**：本软件仅供学习研究，使用者需自行承担法律责任。

---

## 💖 支持项目

如果这个项目对你有帮助，可以通过以下方式支持：

### 🌟 给个Star
点击右上角 ⭐ **Star** 按钮，这是对作者最大的鼓励！

### ☕ 请作者喝咖啡

<table>
  <tr>
    <td align="center" width="50%">
      <img src="images/wechat-pay.png" width="200" alt="微信赞赏" /><br />
      <b>💚 微信赞赏</b>
    </td>
    <td align="center" width="50%">
      <img src="images/alipay.png" width="200" alt="支付宝赞赏" /><br />
      <b>💙 支付宝赞赏</b>
    </td>
  </tr>
</table>

<p align="center">
  <i>你的支持是我持续更新的动力！🚀</i>
</p>

### 其他支持方式
- 🐛 提交 Issue 反馈问题
- 🔧 提交 Pull Request 改进代码
- 📢 分享给更多需要的人
- ⭐ 关注作者：[@915722](https://github.com/915722)常用邮箱1779718746@qq.com或者kugua3636@gmail.com

---

## 🤝 贡献

欢迎提交 Issue 和 Pull Request！

---

**项目主页**: https://github.com/915722/art-training-scraper  
**最后更新**: 2025-10-26  
**版本**: v1.0