1 from bs4 import BeautifulSoup 2 import requests,urllib.request,urllib.parse 3 import json 4 import time 5 import os 6 headers = {'User-Agent':'Mozil... ...
分类:
编程语言 时间:
2017-02-10 11:37:09
阅读次数:
220
初级的爬虫我们利用urllib和urllib2库以及正则表达式就可以完成了,不过还有更加强大的工具,爬虫框架Scrapy,这安装过程也是煞费苦心哪,在此整理如下。 Windows 平台: 我的系统是 Win7,首先,你要有Python,我用的是2.7.7版本,Python3相仿,只是一些源文件不同。 ...
分类:
编程语言 时间:
2017-02-08 22:40:55
阅读次数:
277
一、最简单的使用 import urllib,urllib2 response = urllib2.urlopen("https://www.baidu.com") print response.read() 二、构造Request对象 request = urllib2.Request("http ...
分类:
Web程序 时间:
2017-02-06 14:37:13
阅读次数:
221
sublime 快捷键安装 packagecontrol https://packagecontrol.io/installation#st3 import urllib.request,os,hashlib; h = '2915d1851351e5ee549c20394736b442' + '8b ...
分类:
其他好文 时间:
2017-02-05 10:54:20
阅读次数:
189
#encoding=utf-8 from urllib.request import urlopen import random import os ''' 1. 定义一个fuc(url, folder_path) 获取url地址的内容,保存到folder_path的文件目录下,并随机生成一个文件名... ...
分类:
编程语言 时间:
2017-02-03 19:47:21
阅读次数:
287
#_*_coding:utf_8_ from sgmllib import SGMLParserimport sys, urllib2, urllib, cookielibimport datetime, time class spider(SGMLParser): def __init__(sel ...
分类:
编程语言 时间:
2017-02-02 23:36:57
阅读次数:
237
1、安装Package Control组件 按Ctrl+`调出console, 粘贴以下代码到底部命令行并回车: import urllib.request,os; pf = 'Package Control.sublime-package'; ipp = sublime.installed_pac ...
分类:
其他好文 时间:
2017-01-26 20:38:29
阅读次数:
238
Python 3.X 要使用urllib.request 来抓取网络资源。 最简单的方式: 使用Request的方式: 这种方式同样可以用来处理其他URL,例如FTP: 使用POST请求: 使用GET请求: 添加header: 错误处理: 返回的错误代码: ...
分类:
编程语言 时间:
2017-01-22 16:31:30
阅读次数:
220
效果:代码:#百度翻译
#Python3.5.1
fromurllibimportrequest,parse
importjson
url=‘http://fanyi.baidu.com/v2transapi‘
context=input(‘请输入需要翻译的内容:\>‘)
ifcontext>=‘\u4e00‘andcontext<=‘\u9fa5‘:
#判断输入内容是否为汉字
From,To=‘zh‘,‘en‘
else:..
分类:
编程语言 时间:
2017-01-21 22:39:25
阅读次数:
327
1. 便捷数据获取 1.2 网络数据获取: 1.2.1 urllib, urllib2, httplib, httplib2和正则表达式(python3中为urllib.request, http.client) 2. 数据准备和整理 3. 数据显示 4. 数据选择 4.1 选择行 4.1.1 索引 ...
分类:
编程语言 时间:
2017-01-21 18:33:33
阅读次数:
210