第三步：测试Spark集群把Spark安装包下的”README.txt”上传到通过hdfs的web控制台可以发现成功上传了文件：使用“MASTER:spark://SparkMaster:7077./spark-shell”命令启动Sparkshell：接下来通过以下命令读取刚刚上传到HDFS上的“...
分类：
其他好文 时间：
2014-11-19 14:08:57
阅读次数：
220
升级系统和XCode后，在IOS8上编译之前的项目会报如下错误：
Undefined symbols for architecture x86_64:
"_opendir$INODE64", referenced from:
_OPENSSL_DIR_read in libcocos2dx iOS.a(o_dir.o)
"_readdir$INODE64", referenc...
分类：
其他好文 时间：
2014-11-19 12:42:26
阅读次数：
208
Hadoop读书笔记（二）HDFS的shell操作...
分类：
系统相关 时间：
2014-11-19 11:27:18
阅读次数：
248
最近遇到的问题，是我同事找到的解决办法，这里记录一下
报错
Undefined symbols for architecture i386:
"_fwrite$UNIX2003", referenced from:
_unixErrorHandler in libcocos2dx iOS.a(tif_unix.o)
_unixWarningHandler in li...
分类：
其他好文 时间：
2014-11-19 10:57:30
阅读次数：
128
http://blog.csdn.net/weijonathan/article/details/18301321一直以来都想接触Storm实时计算这块的东西，最近在群里看到上海一哥们罗宝写的Flume+Kafka+Storm的实时日志流系统的搭建文档，自己也跟着整了一遍，之前罗宝的文章中有一些要注...
分类：
Web程序 时间：
2014-11-19 10:32:28
阅读次数：
345
1.HTTPFS:基于HTTP操作hadoophdfs文件系统http://my.oschina.net/cloudcoder/blog/2774262.利用JavaAPI访问HDFS的文件http://blog.csdn.net/zhangzhaokun/article/details/5597433
分类：
Web程序 时间：
2014-11-19 02:03:09
阅读次数：
141
Hadoop读书笔记（二）HDFS的shell操作...
分类：
系统相关 时间：
2014-11-19 01:24:54
阅读次数：
162
关于使用java api上传文件。 在定义一个FileSystem变量的时候伪分布式和单机版的方法是不一样的，单机版使用的是FileSystem类的静态函数FileSystem hdfs = FileSystem.get(conf)伪分布式下需要使用Path来获得Path dstDir = new ...
分类：
其他好文 时间：
2014-11-18 23:52:58
阅读次数：
239
Hadoop下，HDFS运维算是一个非常重要的过程。对于生产而言，海量数据被存储到了HDFS中，如果HDFS挂了，那么导致生产环境无法工作是小，遗失数据而造成的后果将更加巨大。下面总结下CDH体系下HDFS基础运维知识。首先得从HDFS下的NameNode开始，简介下NameNode的工作机制当我们把..
分类：
其他好文 时间：
2014-11-18 01:49:51
阅读次数：
284
也可以查看一下SparkWorker2上的运行情况：我们点击具体的Container查看其信息：程序运行结束后我们可以执行一下命令查看运行结果：也可通过HDFS控制台查看运行结果：可以通过Web控制的JobHistory查看历史工作记录：点击最近运行的WordCount作业进入历史作业详情：发现我们...
分类：
其他好文 时间：
2014-11-17 21:01:18
阅读次数：
164
