前记： 爬虫：使用任何技术手段，批量获取网站信息的一种方式。关键在于批量。 反爬虫：使用任何技术手段，阻止别人批量获取自己网站信息的一种方式。关键也在于批量。 误伤：在反爬虫的过程中，错误的将普通用户识别为爬虫。误伤率高的反爬虫策略，效果再好也不能用。 拦截：成功地阻止爬虫访问。这里会有拦截率的概念。通常来说，拦截率越高的反爬虫策略，误伤的可能性就越高。因此需要做个权衡。 资源：机器成本与人力成本的总和。 url 管理器：管理待抓取url集合和已抓取url集合 个人：set(),python的set()可以自动去重 大量带爬取url：关系数据库mysql 互联网公司：缓存数据库(高性能) 网页下载器： …

请求方法： r=requests.get('http://httpbin.org/get')#get r = requests.post("http://httpbin.org/post")#post r = requests.put("http://httpbin.org/put")#put r = requests.delete("http://httpbin.org/delete")#delect r = requests.head("http://httpbin.org/get")#head r = …

BeautifulSoup解析器： 解析器 使用方法 条件 bs4的html解析器 BeautifulSoup(html,‘html.parser’) 安装bs4 lxml的html解析器 BeautifulSoup(html,’lxml') pip install lxml lxml的xml解析器 BeautifulSoup(html,‘xml’) pip install lxml html5lib的解析器 BeautifulSoup(html,‘html5lib’) pip install html5lib 基本元素 基本元素 说明 tag 标 …

PyQuery 初始化 %%html <div id = "container"> <ul class="list"> <li class = "item-0">frist item</li> <li class = "item-1"><a href="link2.html">second item</a></li> <li class = "item-0 active"><a …