本文通过python 来实现这样一个简单的爬虫功能,把我们想要的图片爬取到本地。...
分类:
编程语言 时间:
2014-05-15 15:09:46
阅读次数:
450
学校的服务器可以上外网了,所以打算写一个自动爬取笑话并发到bbs的东西,从网上搜了一个笑话网站,感觉大部分还不太冷,html结构如下:
可以看到,笑话的链接列表都在里面,用正则表达式可以把最近的几个笑话地址找出来,再进到一个笑话页面看下:
每一个笑话页面里面是有多个小笑话组成的,全部在标签下,每个小笑话又单独一个包裹,这样非常容易...
分类:
编程语言 时间:
2014-05-15 11:18:58
阅读次数:
362
序列-2
序列相加
通过加号对列表进行连接操作;
列表
>>> [1,3,4]+[2,5,8]
[1, 3, 4, 2, 5, 8]
字符串
>>> '134'+'258'
'134258'
元组
>>> (1,2,3)+(2,5,8)
(1, 2, 3, 2, 5, 8)
元素数据类型不同的列表
>>> [[1,3],[3,9]]+[[2,2],'abc']
[[1,...
分类:
编程语言 时间:
2014-05-15 05:31:56
阅读次数:
425
1.什么是re
正则表达式一门相对通用的语言,在python中也有对正则表达式的支持,那就是的内置re模块。正则表达式就是一系列的规则去匹配字符串然后进行相应的操作,这些规则网上一搜一大片,而re则是运用正则表达式来提供一系列的功能强大的接口让我们来调用。通常我们在对日志文件进行操作的时候会对正则表达式运用的比较多来得到我们希望得到的数据。
2.python中的转义符...
分类:
编程语言 时间:
2014-05-15 03:58:49
阅读次数:
465
1关于greenletgreelet指的是使用一个任务调度器和一些生成器或者协程实现协作式用户空间多线程的一种伪并发机制,即所谓的微线程。greelet机制的主要思想是:生成器函数或者协程函数中的yield语句挂起函数的执行,直到稍后使用next()或send()操作进行恢复为止。可以使用一个调..
分类:
其他好文 时间:
2014-05-14 19:09:00
阅读次数:
427
缘由:由于办公电脑配置过低,安装win7每天系统蓝屏,重启无数次,出于对设备的最大化利用,所以就换成了Ubuntu,刚装上系统,感觉还不错,唯独那丑陋的输入法用着真心让人崩溃,果断删除iBus然后安装Fcitx,谁曾想由此引发了系统崩溃。。。系统及软件版本相关问题:1、卸载iBus之..
分类:
其他好文 时间:
2014-05-14 18:37:11
阅读次数:
434
用python做数据统计分析时,原始日志文件中用户访问的时间不对,需要往后延8小时,记录一下:>>>importdatetime
>>>pageTime=‘2014-05-1116:44:12‘
>>>pageTime
‘2014-05-1116:44:12‘1.把pageTime字符串类型转换成datetime时间类型:>>>dt..
分类:
编程语言 时间:
2014-05-14 17:18:15
阅读次数:
405
大部分数据库都提供了窗口函数,比如RANK,ROW_NUMBER等等。MySQL这方面没有直接提供,但是可以变相的实现,我以前写了row_number的实现,今天有时间把rank的实现贴出来。这里,我用MySQL以及Python分别实现了rank窗口函数。原始表信息:t_girl=#\dgroup_concat;
Table"ytt.grou..
分类:
数据库 时间:
2014-05-14 17:04:57
阅读次数:
442
对于很多新手,当然我也是新手,在命令行里学习python的时候占满了屏幕,很不习惯,特别是使用linux习惯了,使用clear清屏,这样的感觉非常好,但是python下面没有这样的命令和功能,下面为了解决这个问题,本人写了个简单的模块1先来看下没有清屏的结果[root@zh~]#python
Pyth..
分类:
编程语言 时间:
2014-05-14 16:04:24
阅读次数:
1320
QtCreator版本为2.7.0。Qt库版本为4.8.4。MinGW版本为4.40。此版本的QtCreator的Qt调试助手改用了python,而mingw自带的gdb不支持python,所以需要支持python的gdb,才能使用Qt调试助手。1、下载支持python的gbd。支持python的gbd的下载路径如下:http://qt-project.org/wiki/Q..
分类:
其他好文 时间:
2014-05-14 15:55:07
阅读次数:
409