在飞速发展的云计算大数据时代,Spark是继Hadoop之后,成为替代Hadoop的下一代云计算大数据核心技术,目前Spark已经构建了自己的整个大数据处理生态系统,如流处理、图技术、机器学习、NoSQL查询等方面都有自己的技术,并且是Apache顶级Project,可以预计的是2014年下半年.....
分类:
其他好文 时间:
2014-07-03 10:43:37
阅读次数:
181
修改php.ini文件1.post_max_size = 10M 表单提交最大数据为10M.此项不是限制上传单个文件的大小,而是针对整个表单的提交数据进行限制的.2.file_uploads = On 是否允许上传文件,如果为OFF您将不能上传文件.3.upload_tmp_dir = "D:/PH...
分类:
其他好文 时间:
2014-07-03 10:28:42
阅读次数:
700
Spark是发源于美国加州大学伯克利分校AMPLab的集群计算平台,它立足于内存计算,性能超过Hadoop百倍,从多迭代批量处理出发,兼收并蓄数据仓库、流处理和图计算等多种计算范式,是罕见的全能选手。Spark采用一个统一的技术堆栈解决了云计算大数据的如流处理、图技术、机器学习、NoSQL查询...
分类:
其他好文 时间:
2014-07-03 10:19:26
阅读次数:
208
大数据的概念越来越多的被人们提及的今天,数据可视化也同样被提上了日程。
分类:
其他好文 时间:
2014-07-03 09:56:04
阅读次数:
153
函数和闭包1 成员方法java中函数存在的方式,我们给一个类追加一个功能的途径就是给他追加一个方法。2 本地方法所谓的本地方法就是存在于一个方法内部的方法。如果一个类中有一个方法是private的,且只有一个方法使用到他,那么这个方法完全可以被定义为一个本地方法3 函数式一等公民方法分为:1 方法名...
分类:
其他好文 时间:
2014-07-02 21:29:31
阅读次数:
217
使用yum方式完成服务安装___ByNemo(仅供参考)Notice:Apache安装好之后,我又改回桥接模式用rpm安装了。首先,让你的虚拟机上个网,所以需要把网卡设置成nat模式,在宿主机上先拨个号,设好后重启linux系统。重启后,打开firefox,看是不是能上网。Ok,但nat模式默认的ip是动..
分类:
其他好文 时间:
2014-07-01 15:42:15
阅读次数:
303
题记
这次《对象程序设计》课程设计,一共给定了8个选题(下载WORD版,PDF版),以及自由选题的机会。从大家初步选题结果来看(图1),绝大部分同学选择了“图形用户界面的计算器”,较少同学选择了3-8题中的一个。一方面,可以看出大家目前的动手能力还有待提高,教师的教学水平还不能给予学生较多的帮助;另一方面,学生缺乏“主动选择、对自己负责”的能力,和从小学到大学一直是被动学习状态有关。李雅...
分类:
其他好文 时间:
2014-07-01 15:13:48
阅读次数:
344
我记得早在2001年,Gartner公司的一份研究报告首次出现“大数据(BigData)”概念的提法。但是到今天业内对“大数据”一词的定义说法不一,但越来越多的研究机构和网络媒体开始关注它。大数据正成为继云计算之后新的热词。同云计算一样,大数据虽然也看不见摸不到,却与今天的I..
分类:
其他好文 时间:
2014-07-01 09:57:44
阅读次数:
263
上章,我简单描述了国外IT巨头在大数据方面的应用和战略,本章我们来看一下国内互联网公司如何理解大数据的。随着互联网各类网络应用的不断深入,中国的大数据技术与应用的快速发展已成为不容忽视的事实。目前国内各IT企业,特别是大型互联网企业,都开始对大数据的存储、处理..
分类:
其他好文 时间:
2014-07-01 09:39:28
阅读次数:
205
在Spark是一种计算框架,在Spark环境下,不仅支持操作单机文件,HDFS文件,同时也可以用Spark对Hbase操作。
企业中数据源会从HBase取出,这就涉及到了读取hbase数据,本文为了尽可能的让大家能尽快实践和操作Hbase,使用的是Spark Shell 来进行Hbase操作。
一、环境:
Haoop2.2.0
Hbase版本0.96.2-hadoop2, r158109...
分类:
其他好文 时间:
2014-07-01 09:29:54
阅读次数:
499