最近导师给了一个任务：用Python爬取中国官员的官方信息，然后将信息中的关键信息（时间地点任务blablabla）抽取出来，绘制他们的关系图。
千里之行始于足下，我就从Python爬虫开始。
大致分为以下步骤：文本爬取--图片爬取--分词--信息抽取--关系网构建
一. 文本爬取（基于Python3.6）：
这是我的第一个爬虫程序，在学长的指导下用时5天完成（惭愧啊...）。
之前咨询会爬虫的朋友，他说学爬虫的难点有两个：
1. 分析网址规律
2.提取要抓取的数据
我实践后的感觉是，他说得很对。上手爬虫需要有以下基础：
1.会一些基本的Python编程（事实上，只要略懂一种编程语言就可以，Python可以现学）
2.懂一点HTML的知识。这个我也是现学的，推荐一个很友好的网站：
http://www.w3school.com.cn/
3.正则表达式。这个主要用来提取自己需要的网页上的信息。这里也推荐一个网站：
http://www.runoob.com/regexp/regexp-syntax.html
其实，正则表达式如果用的不多，也可以直接百度寻找答案。
我是用python3.6实现爬虫的，用到了bs4这个库中的Beautiful Soup。通过cmd命令打开anaconda中的scripts文件夹，再输入pip install bs4 即可完成安装。当然，也可以在anaconda的界面中直接安装。
Beautiful Soup的具体用法，可以参考Beautiful Soup 的中文帮助文档：http://beautifulsoup.readthedocs.io/zh_CN/latest/#find
（你问我为啥知道这么多网站，当然是因为我啥都不会，都需要参考啊~~~）
在上面的代码中，我已经进行了详细注释，应该能大致看懂。下面重点解析几个容易出错的部分。
1. User-Agent问题
以下摘自：http://blog.csdn.net/qq_17612199/article/details/51106827
User-Agent是Http协议中的一部分，属于头域的组成部分，User Agent也简称UA。用较为普通的一点来说，是一种向访问网站提供你所使用的浏览器类型、操作系统及版本、CPU 类型、浏览器渲染引擎、浏览器语言、浏览器插件等信息的标识。