之前未习惯发布学习心德博文，后续会采用这种方式发布学习心得，希望能够很好的督促自己。计划会按scala,Hadoop,Spark的顺序去学习。刚学scala的时候，眼前一亮，这语法跟python,java很像啊，刚好两者很熟悉，偷笑，后面果然学的得心应手。今天就不发表具体的技术内容。反正王学林老师的...
分类：
其他好文 时间：
2015-12-23 22:44:19
阅读次数：
186
记录spark的Wordcount小程序：前提：hdfs已经打开创建一个name为wc.input的文件，上传到hdfs中的/user/hadoop/spark/中，内容如上图[root@spark00 hadoop-2.6.0-cdh5.4.0]# bin/hdfs dfs -put wc.inp...
分类：
其他好文 时间：
2015-12-16 21:04:11
阅读次数：
177
大数据何止是大，未来的世界应该是数据大爆炸，掌握数据的人才能掌握未来！模拟用户轨迹，行为分析，市场预测，spark基于内存的大数据框架。图计算，机器学习，docker，hadoop，spark，flink，，，让我们一起来追寻spark，进入大数据时代！！！spark 大数据是用scala语言，sc...
分类：
其他好文 时间：
2015-11-18 16:24:33
阅读次数：
222
大数据未来几年发展的重点方向，大数据战略已经在十八届五中全会上作为重点战略方向当前相关的项目有hadoop、Spark、Aaka、kafka、flink等等，使用语言有java、scala、python等等对大数据有兴趣者可以参考王老师提供的相关内容，具体如下：王家林的第一个中国梦：免费为全社会培养...
分类：
其他好文 时间：
2015-11-14 20:39:03
阅读次数：
393
1. zookeeper配置cp app/ochadoop-och3.0.0-SNAPSHOT/zookeeper-3.4.5-cdh5.0.0-beta-2-och3.0.0-SNAPSHOT/conf/zoo_sample.cfg app/ochadoop-och3.0.0-SNAPSHOT/z...
分类：
其他好文 时间：
2015-10-10 17:23:21
阅读次数：
354
本节主要内容
Hadoop生态圈
Spark生态圈
1. Hadoop生态圈原文地址：http://os.51cto.com/art/201508/487936_all.htm#rd?sukey=a805c0b270074a064cd1c1c9a73c1dcc953928bfe4a56cc94d6f67793fa02b3b983df6df92dc418df5a1083411b53325
下图给出...
分类：
其他好文 时间：
2015-09-19 13:54:25
阅读次数：
673
大会地址 上海Spark Meetup第四次聚会将于2015年7月18日在太库科技创业发展有限公司举办，详细地址上海市浦东新区金科路2889弄3号长泰广场 C座12层，太库。本次聚会由七牛和Intel联合举办。大会主题 1. hadoop/spark生态的落地实践 王团结(七牛)七牛云数据平台工程师。主要负责数据平台的设计研发工作。关注大数据处理，高性能系统服务，关注hadoop/flume/k...
分类：
其他好文 时间：
2015-08-27 11:04:36
阅读次数：
189
安装JDK 1.7+
【下载网址】http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html环境变量设置（最好不要采用openjdk）：export JAVA_HOME=/usr/java/java-1.7.0_71
export JRE_HOME=$JAVA_HOME/jre
export...
分类：
其他好文 时间：
2015-08-26 22:42:31
阅读次数：
335
分布式系统并不是什么新鲜词，在上个世纪七八十年代就已经有各种分布式系统出现。只是在互联网时代，分布式系统才大放异彩，尤其是Google更是把分布式系统运用到了极致。Google整个的软件构架都是基于各种各样的分布式系统，诸如Borg、MapReduce、BigTable等。正是这些分布式系统，使得Google可以处理高并发请求响应以及海量数据处理等。Apache旗下的Hadoop、Spark、Me...
分类：
其他好文 时间：
2015-08-25 23:49:24
阅读次数：
163
