Hadoop典型应用有：搜索、日志处理、推荐系统、数据分析、视频图像分析、数据保存等Hadoop的核心是HDFS和mapreduce,两者只是理论基础，不是具体可使用的高级应用，Hadoop旗下有很多经典子项目，比如HBase、Hive等，这些都是基于HDFS和MapReduce发展出来的。mapr...
分类：
其他好文 时间：
2014-11-26 13:48:30
阅读次数：
195
ConfiguringHBasetoUseHDFSHAnothingtodoUpgradingtheHiveMetastoretoUseHDFSHAConfiguringHuetoWorkwithHDFSHAaddHttpFSroleinstanceunderHDFSRestarttheHueserviceConfiguringImpalatoWorkwithHDFSHAimpala-shell-iimpala-daemon-host[impala-daemon-host:21000]>INVALIDA..
分类：
其他好文 时间：
2014-11-26 11:39:39
阅读次数：
161
Xcode升级到5.1 新特性之一就是默认让所有App都通过64位编译器编译。原来在Xcode5.0.x的时候默认的Standard architectures只有（arm7,armv7s），到5.1之后默认就带上arm64的参数了。目前临时的解决办法是1.把1.选中Targets—>Build S...
分类：
其他好文 时间：
2014-11-26 10:45:07
阅读次数：
206
环境配置首先需要在hadoop-env.sh中配置HADOOP_CLASSPATH变量..exportHADOOP_CLASSPATH=/home/hadoop/hadoop-1.2.1/myclass在.bash_profile中配置JAVA_HOME,并且生效测试程序URLCat.java
importorg.apache.hadoop.fs.FsUrlStreamHandlerFactory;
importorg.apache.hadoop.io.IO..
分类：
编程语言 时间：
2014-11-26 06:50:59
阅读次数：
176
HDFS提供分布式存储机制,提供可线性增长的海量存储能力自动数据冗余,无须使用Raid,无须另行备份为进一步分析计算提供数据基础HDFS设计基础与目标硬件错误是常态,因此需要冗余流式数据访问.即数据批量读取而非随机读写,hadoop擅长做的是数据分析而不是事务处理大规模数据集简单..
分类：
其他好文 时间：
2014-11-26 06:49:42
阅读次数：
223
HDFS联邦HDFSHAHDFS快照回顾:HDFS两层模型Namespace:包括目录,文件和块.它支持所有命名空间相关的文件操作,如创建,删除,修改,查看所有文件和目录BlockStorageService(块存储服务)包括两部分1.在namenode中的块的管理提供datanode集群的注册,心跳检测等功能.处理块的报告信息和..
分类：
其他好文 时间：
2014-11-26 06:48:59
阅读次数：
140
配置HDFS联邦配置etc/hadoop/hdfs-site.xml<configuration>
<property>
<name>dfs.nameservices</name>
<value>ns1,ns2</value>
</property>
<property>
<name>dfs.namenode.rpc-address.ns1</name>
<value&g..
分类：
其他好文 时间：
2014-11-26 06:48:49
阅读次数：
155
AUGUST 30, 2012BYPINAL DAVESQL SERVER – Beginning of SQL Server Architecture – Terminology – GuestPostSQL Server Architecture is a very deep subject. ...
分类：
数据库 时间：
2014-11-26 06:37:43
阅读次数：
230
HDFSFederation是为解决HDFS单点故障而提出的NameNode水平扩展方案，该方案允许HDFS创建多个Namespace以提高集群的扩展性和隔离性。在Federation中新增了block-pool的概念，block-pool就是属于单个Namespace的一组block,每个DataNode为所有的block-pool存储block，可以理解bloc..
分类：
其他好文 时间：
2014-11-25 19:03:31
阅读次数：
253
XIV系列：《XIV（1）—HardwareOverview》《XIV（2）--Logicalsystemconcepts》之前的文章曾经说过HOST发过来的data会在XIV上存2份，即PrimaryCopy和SecondaryCopy。只有当这2份都同时存在时，系统才是FullRedundancy状态。那主机在XIV上读写数据分别是怎么进行的呢？请看本篇..
分类：
其他好文 时间：
2014-11-25 18:55:14
阅读次数：
283
