码迷,mamicode.com
首页 >  
搜索关键字:python爬虫 you-get    ( 2477个结果
hdu1867(A + B for you again) 杭电java a题真坑
点击打开链接 Problem Description Generally speaking, there are a lot of problems about strings processing. Now you encounter another such problem. If you get two strings, such as “asdf” and “sdfg”, the...
分类:编程语言   时间:2015-08-11 21:36:16    阅读次数:154
Java学习笔记:详解传值和传引用
传值和传引用 When you’re passing primitives into a method ,you get a distinct copy of the primitive. When you’re passing a reference into a method , you get a copy of the reference....
分类:编程语言   时间:2015-08-11 14:17:14    阅读次数:137
用python批量下载wallheaven网站图片
这要从很早以前说起,那个时候是刚开始玩Ubuntu,但是ubuntu的壁纸不太好看,所以我就想方设法找到很漂亮的壁纸来替换原先的,但是我又想让壁纸像幻灯片一样播放,但是ubuntu不像windows,没有这样的功能,所以只能上网找办法来解决,最后终于在ubuntu论坛看到了variety这个东东,这个东西用起来确实很酷,可以自己编辑图片源,但是它本身默认带了几个源,而恰好其中就有wallheave...
分类:编程语言   时间:2015-08-10 14:56:41    阅读次数:2091
python爬虫获取校园网新闻
首先打开校园网(以我的学校为例"http://www.zhbit.com/") 现在我们需要获取上图红色框框的数据并输出 下面我们打开浏览器的开发模式并定位到相应的代码 不难发现,学校要闻只显示5条信息 下面我们就开始写程序 #?...
分类:编程语言   时间:2015-08-10 08:16:29    阅读次数:931
我才知道爬虫也可以酱紫--火车采集器
我才知道爬虫还可以这样—火车采集器的使用说在前面额。。。好吧,我这一个三毛钱的屌丝也开始步入实习阶段了,在北京其实也挺好的,虽说压力大,但是今后就业机会也相对而言大一些。好了,说回今天的主题,之前学习Python爬虫的时候一直以为今后工作的话进行爬虫需要自己写源代码然后再一直爬呀爬呀爬,但是不是这样...
分类:其他好文   时间:2015-08-07 21:40:25    阅读次数:991
爬虫框架Scrapy
前面十章爬虫笔记陆陆续续记录了一些简单的Python爬虫知识,用来解决简单的贴吧下载,绩点运算自然不在话下。不过要想批量下载大量的内容,比如知乎的所有的问答,那便显得游刃不有余了点。于是乎,爬虫框架Scrapy就这样出场了!Scrapy = Scrach+Python,Scrach这个单词是抓取的意...
分类:其他好文   时间:2015-08-07 07:02:47    阅读次数:175
Python伪装浏览器请求爬虫豆瓣小组
Python爬虫,下载豆瓣小组图片 # -*- coding: utf-8 -*- # ----------------------------------------------- # 程序:豆瓣小组图片爬虫 # 版本:1.0 # 语言:Python 3.4 # 作者:gdp12315 # 操作:输入豆瓣小组讨论版块地址、起始页面、终止页面 # 功能:下载小组帖子里发布...
分类:编程语言   时间:2015-08-06 22:22:33    阅读次数:194
python爬虫(二):向网页提交数据
python爬虫(二):向网页提交数据回忆一下,我们有的时候在看一些网站的时候,是否遇见过一些网站里面的信息开始显示一部分,然后当我们把鼠标滑轮向下拉动后,又显示出一些信息。这就是异步加载。我的上一篇文章python爬虫百度贴吧标题数据爬取的所有标题都是页面已经加载好的。但是对于这种开始没有加载好的数据我们应该如何爬取呢?接下来我们先介绍下一些概念: 异步加载:举个简单的例子就是说,假如老师判作业,...
分类:编程语言   时间:2015-08-06 16:58:15    阅读次数:327
我用爬虫一天时间“偷了”知乎一百万用户,只为证明PHP是世界上最好的语言
我用爬虫一天时间“偷了”知乎一百万用户,只为证明PHP是世界上最好的语言2015-08-06猿圈 我用爬虫一天时间“偷了”知乎一百万用户只为证明PHP是世界上最好的语言看了不少朋友圈里推荐的Python爬虫文章, 都觉得太小儿科,处理内容本来就是PHP的强项,P...
分类:编程语言   时间:2015-08-06 12:34:30    阅读次数:181
零基础写python爬虫之urllib2使用指南
零基础写python爬虫之urllib2使用指南 前面说到了urllib2的简单入门,下面整理了一部分urllib2的使用细节。 1.Proxy 的设置 urllib2 默认会使用环境变量 http_proxy 来设置 HTTP Proxy。 如果想在程序中明确控制 ...
分类:编程语言   时间:2015-08-06 09:36:40    阅读次数:241
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!