# coding=gbk import urllib.request import re import os import urllib def getHtml(url): #指定网址获取函数 page = urllib.request.urlopen(url) html = page.read()... ...
分类：
编程语言 时间：
2018-01-08 19:40:48
阅读次数：
174
# _*_coding:utf-8_*_ # author:leo # date: # email:alplf123@163.com from concurrent.futures import * from urllib import request import time import rand... ...
分类：
其他好文 时间：
2018-01-07 23:30:56
阅读次数：
222
一、python操作网络，也就是打开一个网站，或者请求一个http接口，使用urllib模块。 urllib模块是一个标准模块，直接import urllib即可，在python3里面只有urllib模块，在python2里面有urllib模块和urllib2模块。 二、上面是使用python自带的 ...
分类：
编程语言 时间：
2018-01-07 00:47:58
阅读次数：
222
作为一只小白刚开始学python，听到用python写爬虫就感觉十分的高端。当我看到知乎大佬们写爬虫用了各种库更懵逼了。 其实基础爬虫可以直接用python自带的库urllib，re(但确实用了requests后就不想用urllib) 写程序一定要心里有点B数， >>>所以不妨先来想想我的爬虫是来干 ...
分类：
其他好文 时间：
2018-01-06 22:09:45
阅读次数：
165
Python应用于爬虫领域业界应用相当的广泛了，今天就采用urllib爬取下百度新闻的即时新闻。软件环境：Python:3.6.0PyCharm:Community2017.2Python下载地址https://www.python.org/downloads/Pycharm下载地址(Community是免费的)https://www.jetbrains.com/pycharm/download/
分类：
编程语言 时间：
2018-01-05 16:51:02
阅读次数：
307
什么是爬虫 爬虫，也叫蜘蛛(Spider)，如果把互联网比喻成一个蜘蛛网，Spider就是一只在网上爬来爬去的蜘蛛。网络爬虫就是根据网页的地址来寻找网页的，也就是URL。举一个简单的例子，我们在浏览器的地址栏中输入的字符串就是URL，例如：https://www.baidu.com URL就是同意资 ...
分类：
编程语言 时间：
2018-01-05 01:22:11
阅读次数：
633
1.分分钟扒一个网页下来 怎样扒网页呢？其实就是根据URL来获取它的网页信息，虽然我们在浏览器中看到的是一幅幅优美的画面，但是其实是由浏览器解释才呈现出来的，实质它是一段HTML代码，加 JS、CSS，如果把网页比作一个人，那么HTML便是他的骨架，JS便是他的肌肉，CSS便是它的衣服。所以最重要的 ...
分类：
编程语言 时间：
2018-01-04 18:13:34
阅读次数：
205
本文实例讲述了python实现中文转换url编码的方法。分享给大家供大家参考，具体如下： 之前做上传图片编辑的时候，文件路劲中出现中文，会变成以下这种格式： 存到数据库中，中间中文部分会发生变化，导致前端拿不到图片图片路径 怎么解决呢？其实用urllib模块就可以完美的解决 以上是示例，实现过程自己 ...
分类：
编程语言 时间：
2018-01-04 16:21:50
阅读次数：
174
使用IP代理 ProxyHandler()格式化IP，第一个参数，请求目标可能是http或者https,对应设置build_opener()初始化IPinstall_opener()将代理IP设置成全局,当使用urlopen()请求时自动使用代理IP ip代理池构建一 适合IP存活时间长，稳定性好的 ...
分类：
Web程序 时间：
2018-01-03 11:44:24
阅读次数：
538
封装模块 实战爬取搜狗微信公众号 抓包教程 首先安装Fiddler4 软件界面说明 清除请求 设置抓包浏览器 这样设置好后，这个浏览器访问的网址就会在抓包软件里看到信息了 设置抓取https协议的网站 导出证书到桌面 将证书安装到浏览器 可以看到软件已经获取到https网站了 疑难问题解决： 有些可 ...
分类：
微信 时间：
2018-01-03 11:35:13
阅读次数：
477
