爬虫的概念模拟服务器与浏览器之间的通信，从而达到获取数据。分为三种爬虫，普通爬虫(获取整个网页的数据),局部爬虫(聚焦爬虫)只获取某一部分的数据,増量爬虫(只获取新的数据,旧的数据不获取).获取数据->解析数据->保存数据 网页 session是登陆过后放到cookie里面,下次登陆就不需要重新登陆 Cookie是存放用户数据的文件 User-Agent:产生浏览器类型 refe...