歌飘渺ios开发-程序压后台后，悄悄的抓取数据~~我们使用某个app的时候，当我们将程序压到后台之后，我们希望它还能从服务器抓取一些数据，类似微博，微信，qq这些程序压后台之后，我们依然能看到icon上显示未读数量。但是ios系统是伪多任务操作系统。当我们将程序压后台之后，大概过1分钟，程序就会被关...
分类：
移动开发 时间：
2015-05-28 17:46:11
阅读次数：
189
我们使用某个app的时候，当我们将程序压到后台之后，我们希望它还能从服务器抓取一些数据，类似微博，微信，qq这些程序压后台之后，我们依然能看到icon上显示未读数量。但是ios系统是伪多任务操作系统。当我们将程序压后台之后，大概过1分钟，程序就会被关闭。就不能抓取数据了。很久之前的做法是：压后台之后...
分类：
移动开发 时间：
2015-05-28 00:39:55
阅读次数：
133
为了方便，在Windows下我用了PyCharm，个人感觉这是一款优秀的python学习软件。爬虫，即网络爬虫，大家可以理解为在网络上爬行的一直蜘蛛，互联网就比作一张大网，而爬虫便是在这张网上爬来爬去的蜘蛛咯，如果它遇到资源，那么它就会抓取下来。学习python爬虫前，先学习下其他..
分类：
编程语言 时间：
2015-05-27 19:27:07
阅读次数：
206
from BeautifulSoup import *
from urlparse import urljoin
ignaorewords=set(['the','of','to','and','a','in','is','it'])
我们的搜索引擎基于关键词, 所以将连词,冠词忽略
下面的代码是爬虫, 将网页的文本数据存储到我们的sqlite中, 大家看不懂也没有关系, 知道这些函...
分类：
编程语言 时间：
2015-05-25 13:07:15
阅读次数：
275
项目告一段落，快到一年时间开发了两个系统，一个客户已经在试用，一个进入客户测试阶段，中间突然被项目经理（更喜欢叫他W工）分派一个每隔两小时用windows服务去抓取客户提供的外网xml，解析该xml，然后将截取的节点字段值插入到已经建好相应结构的表中。并记录日志。xml结构概要如下： 93...
分类：
数据库 时间：
2015-05-25 12:51:08
阅读次数：
664
最近用Python写了个豆瓣读书的爬虫玩，方便搜罗各种美美书，分享给大家
实现功能：
1 可以爬下豆瓣读书标签下的所有图书
2 按评分排名依次存储
3 存储到Excel中，可方便大家筛选搜罗，比如筛选评价人数>1000的高分书籍；可依据不同的主题存储到Excel不同的Sheet
4 采用User Agent伪装为浏览器进行爬取，并加入随机延时来更好的模仿浏览器行为，避...
分类：
编程语言 时间：
2015-05-21 10:58:26
阅读次数：
327
1.原理：
这个程序可以实现批量获取到某一个CSDN博客的个人信息、目录与链接的对应，并存到一个本目录的mulu.txt文件中
2.具体代码：
# -*- coding: cp936 -*-
import urllib.request#
import re#
import sys#
import time#
import random
import string
headers = {#...
分类：
编程语言 时间：
2015-05-19 10:44:32
阅读次数：
156
废话不多说，直接贴代码，主要采用BeautifulSoup写的
# -*- coding: utf-8 -*-
"""
Created on Mon May 18 19:12:06 2015
@author: Administrator
"""
import urllib
import os
from bs4 import BeautifulSoup
impo...
分类：
编程语言 时间：
2015-05-19 10:44:07
阅读次数：
145
#出处:http://python.jobbole.com/81351/#确定url并抓取页面代码，url自己写一个import urllib,urllib2def getUrl(): page=1 url="http://www.qiushibaike.com/hot/page/"+s...
分类：
编程语言 时间：
2015-05-16 00:00:01
阅读次数：
370
Python + lxml获取豆瓣新书信息（包括书名，作者，简介，url），将结果重定向到txt文本文件。
分类：
编程语言 时间：
2015-05-13 19:19:22
阅读次数：
256
