Python 入门网络爬虫之精华版 转载 宁哥的小站，总结的不错 Python学习网络爬虫主要分3个大的版块：抓取，分析，存储 另外，比较常用的爬虫框架Scrapy，这里最后也详细介绍一下。 首先列举一下本人总结的相关文章，这些覆盖了入门网络爬虫需要的基本概念和技巧：宁哥的小站-网络爬虫 当我们在浏 ...
分类：
编程语言 时间：
2017-07-19 01:10:54
阅读次数：
310
1.Python变量类型： （1）数字 int类型：有符号整数，就是C语言中所指的整型，也就是数学中的整数，它的大小与安装的解释器的位数有关 查看当前系统下的Int最大值： 与C语言不同，Python给变量赋值时不需要预先声明变量类型，也就是说在给变量赋值时小于2147483647的数字默认认为是i ...
分类：
编程语言 时间：
2017-07-17 23:55:00
阅读次数：
245
1 #!/usr/bin/python 2 #coding=utf-8 3 #网络爬虫 4 import urllib,re 5 6 def getHtml(url): 7 page=urllib.urlopen(url) #打开一个url 8 html=page.read() #读取全部内容生成一... ...
分类：
编程语言 时间：
2017-07-17 17:16:15
阅读次数：
206
一、什么是Requests Requests是用Python语言编写，基于urllib，采用Apache2 Licensed开元协议的HTTP库。它比urllib更加的方便，可以节约我们大量的工作完全满足HTTP测试需求。简单来讲，即Python实现的简单易用的HTTP库。 二、Requests库的 ...
分类：
编程语言 时间：
2017-07-15 13:52:40
阅读次数：
250
首先，在谷歌浏览器搜索有道词典，进入有道词典，点击页面顶端的翻译。 进入翻译界面，在翻译界面输入你好： 接着，鼠标右键选择检查： 进入页面，找到下面这个表 ...
分类：
编程语言 时间：
2017-07-14 15:04:02
阅读次数：
180
前面的话 Robots协议(也称为爬虫协议、机器人协议等)全称是“网络爬虫排除标准”(Robots Exclusion Protocol)，网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。本文将详细介绍爬虫协议robots 概述 robots.txt文件是一个文本文件，是搜索 ...
分类：
其他好文 时间：
2017-07-14 10:00:20
阅读次数：
173
from urllib2 import urlopen from bs4 import BeautifulSoup # Get the next page url from the current page url def get_next_page_url(url): page = urlopen... ...
分类：
其他好文 时间：
2017-07-10 23:50:34
阅读次数：
290
网络爬虫的定义 网络爬虫（Web Spider。又被称为网页蜘蛛。网络机器人，又称为网页追逐者），是一种依照一定的规则，自己主动的抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁，自己主动索引。模拟程序或者蠕虫。假设把互联网比喻成一个蜘蛛网，那么Spider就是在网上爬来爬去的蜘蛛。 网 ...
分类：
编程语言 时间：
2017-07-10 12:01:54
阅读次数：
332
最近在阅读《Java编程思想》的时候看到了书中对异常的描述，结合自己阅读源码经历，谈谈自己对异常的理解。首先记住下面两句话： 除非你能解决这个异常，否则不要捕获它，如果打算记录错误消息，那么别忘了把它再抛出去。 异常既代表一种错误，又可以代表一个消息。 一、为什么会有异常 这个问题其实不难理解，如果 ...
分类：
编程语言 时间：
2017-07-09 16:05:36
阅读次数：
201
