# python_crawler

**Repository Path**: yanhc519/python_crawler

## Basic Information

- **Project Name**: python_crawler
- **Description**: 爬取链家数据存起来，并绘图
- **Primary Language**: Unknown
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2020-06-08
- **Last Updated**: 2020-12-19

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

获取链家特定小区的房价信息
每天获取一次数据
计算各小区均价
计算小区1居均价，2居均价

主要参考教程：http://edu.51cto.com//center/course/lesson/index?id=221816

链家有反爬虫机制，不能直接request，需要作为http请求获取页面

可能会用到数据库sql

如果不用sql，用pandas似乎也可以
pandas可以求某一列的均值

pandas能否根据列值不同，而筛选出某些行呢，再求均值呢，这样就可以求1居和2居均价了
可以用groupby，为居数分组，然后，分别求不同居数的均值

每天的价格单独设置一个文件夹，文件夹名为日期

将均价保存在另一个csv文件中
按日期分不同列

用jupyter notebook运行

需要先运行HousePriceGet_lianjia_init，初始化各小区的过去某天均价，作为初始均价，因为读取空的csv文件方法没找到。

每次运行，先读取小区均价csv文件，
  如果有今天日期的列，那么，退出，绘图
  如果没有今天日期的列，读取，添加进csv文件，绘图

开机自启动，未解决，先每次开机启动jupyter notebook，然后运行吧