蓝色部分 Build Active Architecture Only Bulid的时候是不是编译 所有的版本 还是当前的版本一般 debug 选择NO (更快) Release选择Yes(更全面)
分类：
其他好文 时间：
2014-11-13 14:39:47
阅读次数：
150
结束historyserver的命令如下所示： ? 第四步：验证Hadoop分布式集群 首先在hdfs文件系统上创建两个目录，创建过程如下所示： Hdfs中的/data/wordcount用来存放Hadoop自带的WordCount例子的数据文件，程序运行的...
分类：
其他好文 时间：
2014-11-13 13:10:19
阅读次数：
166
网上找了一大包将尽3个小时没有解决，原本以为是我升级到10.10的原因，把cocoapod 重装 stackoverflow google 用尽了也不知道为啥
结果是这个样子的 编译出现这个....
然后 发现之前的link flag 只有-objc
改为 $(inherited) 成功了，折腾我3个小时蛋疼。哎。 有空在研究原理吧，或者哪位给指点...
分类：
其他好文 时间：
2014-11-13 01:53:56
阅读次数：
121
0.服务说明NameNodeNameNode是HDFS的守护程序，负责记录文件是如何分割成数据块的，以及这些数据块被存储到哪些数据节点上。它的功能是对内存及I/O进行集中管理。DataNode集群中每个从服务器都运行一个DataNode后台程序，后台程序负责把HDFS数据块读写到本地文件系统。需要读写..
分类：
其他好文 时间：
2014-11-12 18:07:47
阅读次数：
295
在DataNode的本地存储空间上，与存储服务密切相关的，比如创建数据块，恢复数据块，数据块校验等相关的代码都在org.apache.hadoop.hdfs.server.datanode.fsdataset包下(代码版本CDH5.1)首先说下org.apache.hadoop.hdfs.server.datanode.fsdataset下的主要接口，FsDatasetSpi接..
分类：
其他好文 时间：
2014-11-12 12:01:17
阅读次数：
228
进入 $HADOOP/bin一.文件操作文件操作 类似于正常的linux操作前面加上“hdfs dfs -”前缀也可以写成hadoop而不用hdfs,但终端中显示Use of this script to execute hdfs command is deprecated.Instead use ...
分类：
其他好文 时间：
2014-11-11 18:42:45
阅读次数：
226
笔记：在配置好了spark后，如果需要添加/删除一个结点需要修改如下配置文件cd $HADOOP/etc/hadoop 进入hadoop配置文件夹下修改 slaves，将对应的节点添加/删除修改hdfs-site.xml , 修改hdfs副本的数量。cd $SPARK_HOME/conf 进入spa...
分类：
其他好文 时间：
2014-11-11 14:08:26
阅读次数：
589
前言： Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；并且它提供高吞吐量（high throughput）来訪问应用程序的数据，适合那些有着超大数据集....
分类：
其他好文 时间：
2014-11-11 14:00:31
阅读次数：
305
在HDInsight中从Hadoop的兼容BLOB存储查询大数据的分析
低成本的Blob存储是一个强大的，通用的Hadoop兼容Azure存储解决方案无缝集成HDInsight。通过Hadoop分布式文件系统（HDFS）接口，完整的组件集合在HDInsight可以在Blob存储数据的直接操作。在本教程中，学习如何建立一个容器的Blob存储，然后在里面处理的数据。在BLOB存储中存储的数据能够用于计算的HDInsight集群被安全地删除，而不会丢失用户数据。...
分类：
其他好文 时间：
2014-11-11 10:53:41
阅读次数：
194
