1.[代码]最基本的抓站 ?12import urllib2content = urllib2.urlopen('http://XXXX').read()2.[代码]使用代理服务器 ?12345import urllib2proxy_support = urllib2.ProxyHandler({'...
分类：
编程语言 时间：
2014-10-10 19:32:24
阅读次数：
226
问题：从主页面通过标签 url连接,加载一个弹出层,在弹出层中进行数据处理，数据处理完后，显示成功同时跳转到另一个页面 怎么实现在关闭层页面后，原页面数据刷新？子窗口提交后跳转到一个空白页面，在此空白页面里加载父窗口重新加载echo '';
分类：
其他好文 时间：
2014-10-10 19:10:24
阅读次数：
159
webservice运行原理需要继续对底层机制进行研究，常见的WS调用方式、MQ通信、 线程池和多线程管理机制 异常处理机制 数据库连接池管理 RMI远程调用 log4j日志管理 dom4j进行xml解析 页面爬虫，涉及到HTTP协议 开源...
分类：
其他好文 时间：
2014-10-10 16:12:35
阅读次数：
139
数据分析是基于商业目的，有目的的进行收集、整理、加工和分析数据，提炼有价信息的一个过程。其过程概括起来主要包括：明确分析目的与框架、数据收集、数据处理、数据分析、数据展现和撰写报告等6个阶段。
分类：
其他好文 时间：
2014-10-10 12:33:04
阅读次数：
163
有时候会碰到一些错误换行的数据，比如正确数据应该是：
20141010,aaa,bbb,ccc,ddd,eee
但是实际给过来的数据是：
20141010,aaa,bbb,
ccc,ddd,
eee
这样出现错误换行，在进行一些数据处理时就不能通过
解决办法：
import re
dfile=open('tt.txt','r')
lists=[]
for line in df...
分类：
编程语言 时间：
2014-10-10 11:07:14
阅读次数：
191
Introduction：
这个小demo用于爬取淘宝网的相关链接。
首先从“www.taobao.com"这个url开始，手机页面上的所有url，然后存入toCrawList 。当toCrawList不为空时，拿出一个url,把它存入数据集并且搜寻这个url上的所有链接充入toCrawList. 这是一个BFS过程。
Framework:
Code:
就网络爬虫来讲这个de...
分类：
编程语言 时间：
2014-10-09 18:49:37
阅读次数：
345
带有 MapReduce 的 Apache Hadoop 是分布式数据处理的骨干力量。借助其独特的横向扩展物理集群架构和由 Google 最初开发的精细处理框架，Hadoop 在大数据处理的全新领域迎来了爆炸式增长。Hadoop 还开发了一个丰富...
分类：
其他好文 时间：
2014-10-09 17:05:07
阅读次数：
264
SQLite简介Google为Andriod的较大的数据处理提供了SQLite，他在数据存储、管理、维护等各方面都相当出色，功能也非常的强大。SQLite具备下列特点：1.轻量级使用 SQLite 只需要带一个动态库，就可以享受它的全部功能，而且那个动态库的尺寸想当小。2.独立性SQLite 数据库...
分类：
移动开发 时间：
2014-10-09 15:09:54
阅读次数：
314
1)大数据通过全局的数据让人类了解事物背后的真相。
2)大数据提供了同事物的连接，客观了解人类行为。
3)大数据有助于了解事物发展的客观规律，利于科学决策。
4)大数据计算提高数据处理效率，增加人类认知盈余。
5)大数据改变过去的经验思维，帮助人们建立数据思维。
分类：
其他好文 时间：
2014-10-09 14:37:23
阅读次数：
367
1、大数据处理与系统简介特征典型应用代表性的处理系统适用场景批量数据处理系统首要任务：1.利用批量数据挖掘合适的模式2.得出具体的含义3.制定明智的决策4.做出有效的应对措施5.实现业务目标1.数据体量巨大2.数据精确度高3.数据价值密度低1.互联网领域： a.社交网络 b.电子商务 c.搜索引擎2...
分类：
其他好文 时间：
2014-10-09 02:40:37
阅读次数：
338
