最新2018大数据教程（Linux、hadoop、Hbase）等一键打包百度云下载，本教程包含了大数据课程中的必备内容，包括Linux、Hadoop、Hbase、Sqoop、Zookeeper. 先从Linux开始学起，由浅入深，资料供26G，包含了虚拟机、Linux镜像、学习工具等学习软件，精心整 ...
分类：
系统相关 时间：
2018-09-22 12:46:22
阅读次数：
984
lxml库 lxml 是 一个HTML/XML的解析器，主要的功能是如何解析和提取 HTML/XML 数据。 lxml和正则一样，也是用 C 实现的，是一款高性能的 Python HTML/XML 解析器，我们可以利用之前学习的XPath语法，来快速的定位特定元素以及节点信息。 lxml pytho ...
分类：
其他好文 时间：
2018-09-17 16:13:13
阅读次数：
157
前言 写这个工具的原因是工作中经常需要去模拟客户端去请求接口，有时还需要携带一些请求头参数，在浏览器上直接模拟提交略麻烦，所以写了这个工具 持续更新中 上图! 常规请求 默认使用Get请求,填上postdata则自动识别为Post请求 抽取内容 请求图片 下载文件 链接 压缩包地址 密码:gbxj ...
// 定义utf-8转义失败，中文是一串什么3E%什么的 URLEncoder.encode((productName+".jpeg"), "UTF-8") // 改成如下代码 new String((productName + ".jpeg").getBytes("utf-8"), "ISO885... ...
分类：
其他好文 时间：
2018-09-13 14:18:18
阅读次数：
126
帮别的院的同学批量下载点图片，并进行简单筛选 ...
分类：
其他好文 时间：
2018-09-09 18:13:09
阅读次数：
145
目前，很多网站为了防止爬虫肆意模拟浏览器登录，采用增加验证码的方式来拦截爬虫。验证码的形式有多种，最常见的就是图片验证码。其他验证码的形式有音频验证码，滑动验证码等。图片验证码越来越高级，识别难度也大幅提高，就算人为输入也经常会输错。本文主要讲解识别弱图片验证码。 1 图片验证码强度 图片验证码主要 ...
分类：
编程语言 时间：
2018-09-05 23:47:46
阅读次数：
273
需求描述： 最近发现CL社区上好多精华的帖子分享的图片非常棒，好想好想保存下来，但是一张一张地保存太费时间了，因此，造物者思想主义的我就想动手写个工具，实现只要输入帖子的链接，就能把所有的精华图片下载下来。 程序分析思路： Python是一个很好的工具，使用起来非常方便。因此我决定用Python去实... ...
分类：
编程语言 时间：
2018-09-01 23:44:41
阅读次数：
217
目标网站：http://bbs.fengniao.com/使用框架：scrapy因为有很多模块的方法都还不是很熟悉，所有本次爬虫有很多代码都用得比较笨，希望各位读者能给处意见首先创建好爬虫项目，并使用crawl模板创建爬虫文件通过观察论坛的规律得出，很多贴子的页数往往大于一页，那么要将贴子里各页的图片下载到同一文件夹内，并且不能重名，就是获取到当前的页码数，已页码数+自然数的方式命令文件。发现sc
分类：
其他好文 时间：
2018-08-31 13:22:19
阅读次数：
229
items.py,根据需求确定自己的数据要求 setting.py 设置headers和items pipelines.py 将图片下载到指定文件夹 爬虫文件 tuchong.py 图片的url可以直接拼接 ...
分类：
其他好文 时间：
2018-08-27 10:26:49
阅读次数：
166
