前言 很久没有写blog了，今天由于受够了我的电脑，实在是太卡了，所以我狠心决心，重装了它，毕竟一个东西玩多了，总会出点问题。哈哈哈，不要想远。由于，我当时一些小体积工具都是装在了C盘，所以近几天不得不重装一遍，就一些东西有必要写个blog，我会写，譬如今天的sublime Text3，之所以会选这 ...
分类：
其他好文 时间：
2017-08-02 10:22:19
阅读次数：
156
urllib.request — Extensible library for opening URLs import urllib.request #网址 url = "http://www.douban.com/" #请求 request = urllib.request.Request(url ...
分类：
Web程序 时间：
2017-08-01 16:37:00
阅读次数：
225
一、随时随地爬取一个网页下来 怎么爬取网页？对网站开发了解的都知道，浏览器访问Url向服务器发送请求，服务器响应浏览器请求并返回一堆HTML信息，其中包括html标签，css样式，js脚本等。我们之前用的是Python标准基础库Urllib实现的， 现在我们使用Python的Requests HTT ...
分类：
编程语言 时间：
2017-08-01 11:18:54
阅读次数：
224
通过python 来实现这样一个简单的爬虫功能，把我们想要的图片爬取到本地。(Python版本为3.6.0) 一.获取整个页面数据 说明: 向getHtml()函数传递一个网址，就可以把整个页面下载下来. urllib.request 模块提供了读取web页面数据的接口，我们可以像读取本地文件一样读 ...
分类：
编程语言 时间：
2017-07-30 00:56:52
阅读次数：
219
from urllib.request import urlopen from bs4 import BeautifulSoup import re class doubanSpider(): def __init__(self): """ 初始化, 页码,URL,存储数据, """ self.pa... ...
分类：
编程语言 时间：
2017-07-28 19:26:58
阅读次数：
143
第三百三十节，web爬虫讲解2—urllib库爬虫—实战爬取搜狗微信公众号 封装模块 实战爬取搜狗微信公众号 ...
分类：
微信 时间：
2017-07-27 21:21:13
阅读次数：
1489
# -*- coding: utf-8 -*-import urllib.request import time opener = urllib.request.build_opener() opener.addheaders = [('User-agent', 'Mozilla/49.0.2')] ...
分类：
Web程序 时间：
2017-07-27 00:53:30
阅读次数：
215
from selenium import webdriver from scrapy.selector import Selector import time import random import pymysql from urllib import parse import re import... ...
分类：
其他好文 时间：
2017-07-24 13:10:30
阅读次数：
188
# -*- coding: utf-8 -*- import urllib2 #urllib2 默认的User-Agent是 Python-urllib/2.7 #User-Agent是爬虫和发爬虫斗争的第一步 ua_headers = { "User-Agent":"Mozilla/5.0 (Wi... ...
分类：
Web程序 时间：
2017-07-23 22:31:02
阅读次数：
228
