import urllib import urllib.request import json serviceurl = 'http://maps.googleapis.com/maps/api/geocode/json?' #serviceurl = 'http://python-data.dr- ...
分类：
编程语言 时间：
2017-04-18 15:36:28
阅读次数：
252
pycurl是功能强大的python的url库，是用c语言写的，速度很快，比urllib和httplib都快。 今天我们来看一下pycurl的用法及参数详解 常用方法： pycurl.Curl() #创建一个pycurl对象的方法 pycurl.Curl().setopt(pycurl.URL, h ...
分类：
Web程序 时间：
2017-04-17 13:21:28
阅读次数：
319
上一课我们成功的下载了页面的第一篇文章，这一课我们的目标是怎么把第一页的所有文章都下载下来。还是先继续我们上一节课的内容。 ...
分类：
编程语言 时间：
2017-04-16 17:53:06
阅读次数：
190
from urllib.request import urlopen def f1(url): def f2(): # print(url) print(urlopen(url).read()) return f2 f=f1("%s%s"%("http://",input("输入你要爬得网站："))... ...
分类：
Web程序 时间：
2017-04-15 23:54:54
阅读次数：
336
import requests import bs4 import urllib.request import urllib import os hdr = {'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.11 (KHT... ...
分类：
编程语言 时间：
2017-04-15 14:55:13
阅读次数：
151
#! usr/bin/env python# -*- coding: utf-8 -*-''' post'''import urllibimport urllib2url = ''values = {'user' : 'v1', 'password' : 'v2'}data = urllib.url ...
分类：
编程语言 时间：
2017-04-15 13:45:13
阅读次数：
177
因为本人一直对推理悬疑比较感兴趣，所以这次爬取的网站也是平时看一些悬疑故事的网站，同时也是因为这个网站在编码上面和一些大网站的博客不同，并不那么规范，所以对于初学者还是有一定的挑战性的。我打算把这个爬虫分三次讲，所以每次都先完成一个小目标（当然不是一个亿啦），这次课我们先爬取当前页面的并且下载第一篇... ...
分类：
编程语言 时间：
2017-04-14 14:50:10
阅读次数：
251
Python爬虫之Urllib库的基本使用 其实上面的urlopen参数可以传入一个request请求,它其实就是一个Request类的实例，构造时需要传入Url,Data等等的内容。比如上面的两行代码，我们可以这么改写 运行结果是完全一样的，只不过中间多了一个request对象，推荐大家这么写，因 ...
分类：
编程语言 时间：
2017-04-14 11:52:45
阅读次数：
181
安装python的redis客户端库 本人系统已装python2.7 利用cmd命令行： 1.cmd--》python -->>>进入python命令下 >>>from urllib import urlopen >>>data = urlopen('http://peak.telecommunit ...
分类：
编程语言 时间：
2017-04-13 19:06:20
阅读次数：
196
http://www.cnblogs.com/fnng/p/3576154.html 这个是虫师的博客网站 这个知识点就是在这上面学的 我来说几个点： 1.urllib.request 查阅文档可知，python3里的方法和python2不太一样 2.编码格式问题 这样改就可以了 3.爬虫 在我看来 ...
分类：
编程语言 时间：
2017-04-13 12:53:13
阅读次数：
157
