package com.bank.service;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.conf.Configured;import org.ap...
分类：
其他好文 时间：
2015-01-17 22:01:48
阅读次数：
270
HDFS是HADOOP中的核心技术之一——分布式文件存储系统。Hadoop的作者Doug Cutting 和Mike 是根据Google发布关于GFS 的研究报告所设计出的分布式文件存储系统。一、HDFS设计的前提或者假设有6个：硬件错误是常态而不是异常。对于普通的每台机器来说，出现故障可能并是.....
分类：
其他好文 时间：
2015-01-17 20:47:57
阅读次数：
322
[Architecture Pattern] Factory Builder目的同时提供延迟注入对象、挂载注入项目这两个功能情景在开发系统时，如果需要在运行时间才生成并注入对象，可以套用Factory模式来提供延迟注入对象功能。例如：一个监控系统在火警发生时，建立功能对象来启动相关设备(洒水设备、警...
分类：
其他好文 时间：
2015-01-17 11:10:23
阅读次数：
163
XCode中常用错误解决 1.No such file or directory 2.Undefined symbols for architecture armv7s 3.No such file or directory
分类：
其他好文 时间：
2015-01-16 23:45:20
阅读次数：
204
资源预估
预估数据量、算法的时间、空间复杂度
依据预估的结果分配合理的资源(内存，CPU),避免资源不够用。
避免数据脏读
自动脚本处理大量数据速度快，尤其有写操作的任务，数据一致性在分布式环境下往往难以保证。这种情况下应该避免数据脏读，比如数据库会有主从复制同步延迟的现象，这时应该强制连接数据库主库。
幂等性
有写操作的脚本，需要考虑脚本执行的幂等性，即在参入相同参数...
分类：
其他好文 时间：
2015-01-16 19:14:19
阅读次数：
245
HDFS是一个分布式文件系统，既然是文件系统，就可以对其文件进行操作，比如说新建文件、删除文件、读取文件内容等操作。下面记录一下使用JAVA API对HDFS中的文件进行操作的过程。
对分HDFS中的文件操作主要涉及一下几个类：
Configuration类：该类的对象封转了客户端或者服务器的配置。
FileSystem类：该类的对象是一个文件系统对象，可以用该对象的一些方法来对...
分类：
编程语言 时间：
2015-01-16 16:40:38
阅读次数：
353
配置CDH和管理服务
关闭DataNode前HDFS的调优
角色要求：配置员、集群管理员、完全管理员
当一个DataNode关闭，NameNode确保每一个DataNode中的每一个块根据复制系数（the replication factor）跨集群仍然是可用的。这个过程涉及到DataNode间小批次的块复制。在这种情况下，一个DataNode有成千上万个块，关闭后集群间还原备份数可能...
分类：
其他好文 时间：
2015-01-16 11:20:07
阅读次数：
509
OFAOFA（Optimal Flexible Architecture）是Oracle设计的一种文件系统目录结构，目的在于简化多个Oracle产品版本维护。OFA的核心是两个环境变量：ORACLE_BASE和ORACLE_HOME。ORACLE_BASE是服务器上的一个目录，安装所有Oracle软...
分类：
其他好文 时间：
2015-01-15 19:45:47
阅读次数：
147
Undefined symbols for architecture i386: "_OBJC_CLASS_$_ItemReturn", referenced from: objc-class-ref in JenknisDemoTests.o "_OBJC_CLASS_$_ViewContro.....
分类：
移动开发 时间：
2015-01-15 17:49:49
阅读次数：
203
