Decommission Datanode就是把Datanode从HDFS集群中移除掉。那问题来了，HDFS在设计时就把诸如机器故障考虑进去了，能否直接把某台运行Datanode的机器关掉然后拔走呢？我认为理论上可行的，不过在实际的集群中，如果某份数据只有一份拷贝而且它就在这个机器上，那么直接关掉并拔走机器就会造成数据丢失。本文将介绍如何Decommission Datanode以及可能会遇到的一些问题及其解决办法。...
分类：
其他好文 时间：
2014-10-15 00:13:09
阅读次数：
470
HDFS文件上传：8020端口拒绝连接问题解决！CopyFromLocal:Calltolocalhost/127.0.0.1:8020failedonconnectionexception:java.net.ConnectException问题提示本机的8020端口无法连接。网络上面找到一篇文章是将core-site.xml里面的配置端口修改成8020，但是我们现在依然用他默认..
分类：
Web程序 时间：
2014-10-14 20:49:39
阅读次数：
786
将手机上网日志文件批量导入到Hbase中，操作步骤：
1、将日志文件(请下载附件)上传到HDFS中，利用hadoop的操作命令上传：hadoop fs -put input /
2、创建Hbase表，通过Java操作
Java代码
package com.jiewen.hbase; import java.io.IOException;...
分类：
编程语言 时间：
2014-10-14 16:27:40
阅读次数：
367
在使用下拉刷新类库EGORefreshTableHeaderView的时候，将资源文件添加到工程中，但是忘记假如QuartzCore.framework框架，造成编译错误：Undefined symbols for architecture i386: "_CATransform3DMakeRota...
分类：
其他好文 时间：
2014-10-14 13:00:18
阅读次数：
136
一、Crontab -e 加入输出Log*/1 * * * * /qiwen_list/upload_to_hdfs.sh > /qiwen_list/mapred.log 2>&1二、查看Log发现，找不到Hadoop三、脚本中指定Hadoop完整路径#!/bin/sh#upload list t...
分类：
Web程序 时间：
2014-10-13 22:51:47
阅读次数：
659
1. 架构http://jasig.github.io/cas/4.0.0/planning/Architecture.htmlSystem ComponentsThe CAS server and clients comprise the two physical components of th...
分类：
其他好文 时间：
2014-10-13 16:56:29
阅读次数：
2592
分区考虑，不要使用LVMroot-->20Gswap--2倍系统内存Masternode:RAID10,dualEthernetcards,dualpowersupplies,etc.Slavenode:1.RAIDisnotnecessary2.HDFS分区,notusingLVM/etc/fstab--ext3defaults,noatime挂载到/data/N,forN=0,1,2...(onepartitionperdisk)Clouderareposito..
分类：
其他好文 时间：
2014-10-13 02:02:10
阅读次数：
739
Overview of the log4j architecture:The architecture of the log4j API is layerd. Each layer consist of different objects performing different task.The ...
分类：
Web程序 时间：
2014-10-12 17:05:38
阅读次数：
224
1.core-site.xml在中插入 fs.default.name hdfs://localhost:9000 dfs.replication 1 ...
分类：
其他好文 时间：
2014-10-12 13:51:37
阅读次数：
190
架构(Architecture)的意义：先不要看什么是架构，先看下architect是什么，没有错，它是建筑师，在一块空地上build高楼大厦的人，它是一个designer，设计好整个大楼，也是一个superviser，监督好整个项目不偏离设计。切换到computing的小宇宙，它就是架构设计者，设...
分类：
其他好文 时间：
2014-10-12 12:13:47
阅读次数：
131
