码迷,mamicode.com
首页 >  
搜索关键字:hdfs architecture    ( 6541个结果
Decommission Datanode
Decommission Datanode就是把Datanode从HDFS集群中移除掉。那问题来了,HDFS在设计时就把诸如机器故障考虑进去了,能否直接把某台运行Datanode的机器关掉然后拔走呢?我认为理论上可行的,不过在实际的集群中,如果某份数据只有一份拷贝而且它就在这个机器上,那么直接关掉并拔走机器就会造成数据丢失。本文将介绍如何Decommission Datanode以及可能会遇到的一些问题及其解决办法。...
分类:其他好文   时间:2014-10-15 00:13:09    阅读次数:470
HDFS文件上传:8020端口拒绝连接问题解决!
HDFS文件上传:8020端口拒绝连接问题解决!CopyFromLocal:Calltolocalhost/127.0.0.1:8020failedonconnectionexception:java.net.ConnectException问题提示本机的8020端口无法连接。网络上面找到一篇文章是将core-site.xml里面的配置端口修改成8020,但是我们现在依然用他默认..
分类:Web程序   时间:2014-10-14 20:49:39    阅读次数:786
Hbase调用JavaAPI实现批量导入操作
将手机上网日志文件批量导入到Hbase中,操作步骤: 1、将日志文件(请下载附件)上传到HDFS中,利用hadoop的操作命令上传:hadoop  fs -put input  /   2、创建Hbase表,通过Java操作   Java代码   package com.jiewen.hbase;    import java.io.IOException;...
分类:编程语言   时间:2014-10-14 16:27:40    阅读次数:367
添加第三方类库造成的Undefined symbols for architecture i386:编译错误
在使用下拉刷新类库EGORefreshTableHeaderView的时候,将资源文件添加到工程中,但是忘记假如QuartzCore.framework框架,造成编译错误:Undefined symbols for architecture i386: "_CATransform3DMakeRota...
分类:其他好文   时间:2014-10-14 13:00:18    阅读次数:136
Crontab中shell每分钟执行一次HDFS文件上传不执行的解决方案
一、Crontab -e 加入输出Log*/1 * * * * /qiwen_list/upload_to_hdfs.sh > /qiwen_list/mapred.log 2>&1二、查看Log发现,找不到Hadoop三、脚本中指定Hadoop完整路径#!/bin/sh#upload list t...
分类:Web程序   时间:2014-10-13 22:51:47    阅读次数:659
cas 官方文档
1. 架构http://jasig.github.io/cas/4.0.0/planning/Architecture.htmlSystem ComponentsThe CAS server and clients comprise the two physical components of th...
分类:其他好文   时间:2014-10-13 16:56:29    阅读次数:2592
Install hadoop with Cloudera Manager 5 on CentOS 6.5
分区考虑,不要使用LVMroot-->20Gswap--2倍系统内存Masternode:RAID10,dualEthernetcards,dualpowersupplies,etc.Slavenode:1.RAIDisnotnecessary2.HDFS分区,notusingLVM/etc/fstab--ext3defaults,noatime挂载到/data/N,forN=0,1,2...(onepartitionperdisk)Clouderareposito..
分类:其他好文   时间:2014-10-13 02:02:10    阅读次数:739
Understanding Apache Log4j
Overview of the log4j architecture:The architecture of the log4j API is layerd. Each layer consist of different objects performing different task.The ...
分类:Web程序   时间:2014-10-12 17:05:38    阅读次数:224
hadoop 2.4 伪分布式模式
1.core-site.xml在中插入 fs.default.name hdfs://localhost:9000 dfs.replication 1 ...
分类:其他好文   时间:2014-10-12 13:51:37    阅读次数:190
架构(Architecture)随想
架构(Architecture)的意义:先不要看什么是架构,先看下architect是什么,没有错,它是建筑师,在一块空地上build高楼大厦的人,它是一个designer,设计好整个大楼,也是一个superviser,监督好整个项目不偏离设计。切换到computing的小宇宙,它就是架构设计者,设...
分类:其他好文   时间:2014-10-12 12:13:47    阅读次数:131
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!