爬虫入门总结
自己毕设做的是关于租房房价方面的分析，使用简单的多元线性回归模型来拟合租房的价格，需要采集一些租房的数据来做分析。我也就简单的入门了爬虫，陆续采集了自如、蘑菇租房、我爱我家的租房数据。本文对我学习爬虫的过程以及相关方面做个总结。
爬虫理解
个人对爬虫的理解就是能够按照自己的意愿和一定的规则，将互联网上的数据抓取下来的工具。
我将爬虫分为了两类：简单的和复杂的。
从规模上来看，简单的爬虫一般是由个人开发的，爬取的方式也比较简单，一般属于个人爱好啥的。复杂的爬虫一般是由一个专门的团队来开发和维护的，如谷歌百度等，用于大量的爬去互联网上的数据。
从程序复杂度来看，简单的爬虫爬取易于爬取的数据，程序也不是很复杂，而复杂的爬虫，需要考虑到各种异常，自动登录，验证码识别，反爬等。
网上也有人总结了如下一张图：
自己在图中的定位是小批量爬取数据的编程爱好者。刚刚入门，先从小批量的数据爬起，要采集的租房数据每天也就3万条左右。
要写好一个爬虫，还是需要一些基础知识的，其中包括要了解网页的基本构成、网络请求、编程语言、数据库、异常处理、熟悉常用的基本工具等，涉及到的方面还是比较广。如果只是简单的爬取一些数据，对每个方面可以浅尝辄止，但是要是写一个稳定、高性能、高可用的爬虫，需要涉及的更深一些。下面总结一些入门爬虫需要的基础知识。
基础知识
1、网页的基本构成
网页主要是由HTML，CSS，JavaScript组成。HTML作为网页的骨架，CSS像人的衣服一样，负责美化页面，JavaScript为页面加上行为。
如下图所示：
要抓取的数据被一层又一层的被html的标签包裹的，在抓取数据前，需要对网页的结构进行仔细的分析，找到需要的数据在那个标签下，标签有什么特点。通过分析，就能从整个页面中唯一定位到该数据的位置，这里面涉及到html结构，css选择器(class，id选择器)等知识。
我之前一直做PHP+web开发的，熟悉html，css，javascript等知识，对网页的结构比较了解，基础还是比较好的。
基础的html，css知识可以到w3cschool上学习。
2、网络请求
网络请求主要包括URL的构成，网络请求的方式和请求头。网站的url都是有一定规则的，通过分析url可以唯一定位一个资源等，比如自如的每一个房源的链接格式为http://www.ziroom.com/z/vr/60393569.html，通过替换id，来定位不同的房源；翻页的时候， 通过改变http://www.ziroom.com/z/nl/z3.html?p=2中p值来获取不同的页面。
爬虫中常用的请求方式为get，post。请求网页一般是get，一些api请求post。请求头包含了公共部分，响应头，请求头，cookie等数据。
简单的网站直接可以爬取数据，如蘑菇租房的房源信息接口。有些网站的api请求都是比较复杂的，需要伪造一些请求头才能突破网站的防线，因此需要对网络请求方面比较熟悉。伪造请求，就是接口要什么样的数据，你就给它什么数据，这样它才能给你返回你想要的数据。
3、Python
每一种编程语言，只要有网络模块，就可以用来写爬虫，只是每种语言写的难易度等都不同。Python是做为爬虫的主力语言，由于封装的包比较多，使用起来特别方便。大部分爬虫都是用Python写的，因此需要掌握Python以下几个方面的知识：
1、基础的语法
2、数据结构
3、网络请求
4、异常处理
5、文件、数据库操作
6、常用爬虫的包
我是今年2月中旬开始入门python的，主要参考资料为 Python 2.7教程 - 廖雪峰的官方网站
4、数据存储
采集下来的数据可以存放在文件中，也可以保存到数据库中。文件在数据查询，统计方面不方便，因此还是存放在数据库中比较好。采集到的数据字段变化性比较大，不适合用mysql这种关系型数据库，现在采用较多就是mongodb。mongodb比较灵活，可以随意添加字段以及修改字段类型等。
使用数据库就需要学习数据库的安装配置，id设计，增删改查等操作，数据库管理工具(如robomongo)使用，涉及内容比较多。
常用基本工具
工欲善其事，必先利其器。Python有很多有关爬虫方面的包，让数据采集起来更加简单方便。入门至少需要掌握以下几种工具：
页面结构分析：chrome开发者工具，用于查看页面结构，网络请求等
网络请求：urllib，urllib2，requests，用于发起网络请求，下载数据
解析：BeatifulSoup、xpath、re，用于解析页面，分离有用数据，这三个包组合起来使用功能更加强大
数据库：pymongo，用于操作mongodb数据库；robmongo，mongodb可视化工具
掌握以上几个工具或者包，就可以爬取大多数互联网上的数据。
可以参考资料：
xpath
Python爬虫利器三之Xpath语法与lxml库的用法 | 静觅
Beautiful Soup 4.2.0 文档 — Beautiful Soup 4.2.0 documentation
正则表达式30分钟入门教程
当然，这些基础知识是在边用边学中逐渐总结记录，然后巩固的。下面简要介绍了自如数据的采集工作。
自如数据爬取介绍
自如网站比较好爬取，下载页面，然后提取出数据，然后入库。但即使是一个很简单的爬虫，在具体实现程序之前，最好先画个流程图。先了解需要哪些数据，需要的数据应该从哪来来，如何去获取它，页面如何解析，如何存放等，梳理出整个流程。然后分析哪里存在不足，提前解决。
有了整体的一个流程后，基本上就可以进行编码实现。主要爬取的是房源的一些信息，包括区域、面积，价格，朝向等关键性的字段。从页面结构分析数据的位置，然后综合使用BeatifulSoup，re，xpath提取出数据。
最后采集到的数据做一次预处理，如数据格式化，异常值处理等工作，然后使用mongo进行存储。
爬虫代码是不断改进的过程
在数据采集过程中，初学时由于缺乏经验，会遇到很多的问题：网络错误，数据错误，无故终止，数据采集不够完整等等异常情况。代码就会不断的进行修改，修改到一定程度又会进行代码的重构，如之前所有的代码都写在一个脚本中，需要抽出公用的一些函数如数据库操作等，以及使用Python的类编写代码等等。因此爬虫代码是不断改进，逐渐的修复各种问题，让爬虫运行的更加稳定的过程。当然，随着经验的增加，在写代码之前就会想到很多的异常的情况，写出的代码就会更具稳定性。
如果要让爬虫每天都运行，又需要大量的精力去维护代码。我每天都要手动运行爬虫采集数据，虽然可以使用crontab定时采集，但是在不能绝对保持稳定的情况下，还是手动的先运行一段时间为好。随着爬的越来越多，维护起来也就越来越困难，又会逐渐进行代码改进。改进的过程是痛苦的，却能学到很多的有用的知识和宝贵的经验。
让数据发挥价值
爬取数据只是第一步，最重要的是对数据的分析，使抓取到的数据产生价值。
基于前面的数据采集工作，我使用简单的多元线性回归模型来对合租的数据进行拟合，试图去发现租房价格与房子本身一些特征之间的关系。
然后结合了自己的老本行，使用vue+echarts+BaiduMap+tornado搞了个前端，将采集到的数据可视化处理，便于发现更多的规律。
总结
通过对房屋数据的采集工作的梳理，从流程上，走通一遍整个爬虫采集的各个环节，知道如何去写一个爬虫。从技术上，巩固了编程语言，常用库，数据库等基础知识，并且能够综合运用各项技术解决一系列的问题。从逻辑上，也完善了爬虫各个环节上的异常处理，使爬虫运行更加稳定。同时也充分结合了之前的技术栈，对数据进行可视化，挖掘出一些有用的价值。
