---讲师:王家林:Hadoop源码级专家，曾负责某知名公司的类Hadoop框架开发工作，专注于Hadoop一站式解决方案的提供，同时也是云计算分布式大数据处理的最早实践者之一，Hadoop的狂热爱好者，不断的在实践中用Hadoop解决不同领域的大数据的高效处理和存储，现在正负责Hadoop在搜索引...
分类：
移动开发 时间：
2014-07-23 20:21:15
阅读次数：
404
使用的ide是eclipsepackage com.luogankun.spark.baseimport org.apache.spark.SparkConfimport org.apache.spark.SparkContextimport org.apache.spark.SparkContex...
分类：
其他好文 时间：
2014-07-23 18:01:14
阅读次数：
177
apache 网站上面已经有了已经构建好了的版本，我这里还是自己利用午休时间重新构建一下（jdk,python,scala的安装就省略了，自己可以去安装） http://www.apache.org/dist/spark/spark-1.0.1/ 具体官网的下载链接可...
分类：
其他好文 时间：
2014-07-23 17:40:11
阅读次数：
273
今天准备将mysql的数据倒腾到RDD，很早以前就知道有一个JdbcRDD，就想着使用一下，结果发现却是鸡肋一个。
首先，看看JdbcRDD的定义：
* An RDD that executes an SQL query on a JDBC connection and reads results.
* For usage example, see test case ...
分类：
数据库 时间：
2014-07-23 16:36:21
阅读次数：
408
使用telnet操作memcache，一般不常用1.使用方法1.连接到memcachedtelnet192.168.1.10011211addname0605[说明add是指令名name是key的名字(是以key/value存放),0标志,60表示数据存放60s5表示放入多大数据],如果一个key已...
分类：
Web程序 时间：
2014-07-23 15:11:36
阅读次数：
242
从上大学一直到现在（2014年），一直从事IT相关的工作，经历的角色包括：软件开发、系统架构、售前咨询、项目管理、技术管理、规划设计、工程设计、大数据应用研发等，可以说是一位IT界老兵了。看到这二十年，中国以及世界，在软件、互联网、通信、交通等技术影响下，发生的巨..
分类：
其他好文 时间：
2014-07-23 13:46:06
阅读次数：
202
概述一个Spark的Job分为多个stage，最后一个stage会包含一个或多个ResultTask，前面的stages会包含一个或多个ShuffleMapTasks。ResultTask运行并将结果返回给driver application。ShuffleMapTask将task的output依据...
分类：
其他好文 时间：
2014-07-23 12:43:36
阅读次数：
376
此次发布的ODI新版本，目的是更好的支持当前市场上的大数据平台。大数据基因在不改变ODI工作效率的情况下，ODI增加了越来越多的数据源集成能力。ODI是在Oracle平台上标准的E-LT工具，事实上也是Oracle各个应用软件的数据集成工具。因此，与时俱进，增加对市场上当前流行数据源的集成是必然的，...
分类：
其他好文 时间：
2014-07-23 12:28:58
阅读次数：
228
王家林简介Spark亚太研究院院长和首席专家，中国目前唯一的移动互联网和云计算大数据集大成者。在Spark、Hadoop、Android等方面有丰富的源码、实务和性能优化经验。彻底研究了Spark从0.5.0到0.9.1共13个版本的Spark源码，并已完成2014年5月31日发布的Spark1.0...
分类：
移动开发 时间：
2014-07-22 23:29:47
阅读次数：
241
不知道什么时候大家都開始谈论大数据，筑尼玛第一次接触大数据是在今年年初出差的时候在机场见到的，筑尼玛比較喜欢看书所以当时就跟风买了一本维克托?迈尔?舍恩伯格的《大数据时代:生活、工作与思维的大变革》，只是由于工作比較忙一直放在角落里落灰，直到4月14日百度的新功能百度司南正式开售，筑尼玛才又開始好好...
分类：
其他好文 时间：
2014-07-22 23:08:12
阅读次数：
186
