码迷,mamicode.com
首页 >  
搜索关键字:hadoop centos7 datanode master    ( 43027个结果
topk记录
lk@lk-virtual-machine:~/hadoop-1.0.1/bin$ ./hadoop dfs -rmr output Deleted hdfs://localhost:9000/user/lk/output lk@lk-virtual-machine:~/hadoop-1.0.1/bin$ ./hadoop jar ~/mytopk.jar top.Top  input out...
分类:其他好文   时间:2014-05-13 06:53:12    阅读次数:448
如何编程实现备份数据库
如何编程实现备份数据库 1.备份 Access 数据库  使用 filecopy  2.备份 sql server  --创建 备份数据的 device  USE master  EXEC sp_addumpdevice 'disk', 'testBack', 'c:\mssql7backup\MyNwind_1.dat'  -- 开始 备份  BACKUP DATABASE pu...
分类:数据库   时间:2014-05-13 06:26:31    阅读次数:355
高效搭建Storm完全分布式集群
环境说明 1、硬件说明 使用三台PC机,角色分配如下 2、软件说明 约定所有软件都放在/usr/local/路径下 准备工作 1、安装jdk 2、配置SSH Storm集群安装 安装流程图 1、安装Zookeeper集群 2、安装Storm依赖 zeromq、jzmq、pytho...
分类:其他好文   时间:2014-05-13 05:44:31    阅读次数:345
hadoop记录topk
lk@lk-virtual-machine:~/hadoop-1.0.1/bin$ ./hadoop jar ~/hadoop-1.0.1/to.jar top.Top input output 14/05/12 03:44:37 WARN mapred.JobClient: Use GenericOptionsParser for parsing the arguments. Applicat...
分类:其他好文   时间:2014-05-13 05:38:18    阅读次数:291
drdb安装测试
一.环境准备系统环境CentOSrelease6.3(Final)内核信息2.6.32-279.el6.x86_64ip地址vip192.168.64.120master192.168.64.132心跳线:10.0.0.1主机名:DBmaster.testslave192.168.64.135心跳线:10.0.0.2主机名:DBbak.test镜像磁盘master/dev/sdcslave/dev/sdcfdisk-l安装依赖环境y..
分类:数据库   时间:2014-05-13 04:34:45    阅读次数:473
hadoop namenode启动异常,死活失败
2014-05-12注定是春光灿烂猪八戒的一天,历史595无故障的hadoop服务器,终于还是出了问题,事前无人登陆操作服务器,此故障属于自发行为,目前未知发生原因。细节描述:namenode无法启动.先贴出错误信息2014-05-1207:17:39,447INFOorg.apache.hadoop.hdfs.server.namenode.Name..
分类:其他好文   时间:2014-05-13 02:55:12    阅读次数:394
Autofs 自动挂载服务
autofs自动挂载服务需求:把下面这两条命令做成自动挂载172.16.2.6:/share/soft/share/soft172.16.2.6:/share/iso/share/iso客户端:1、#mkdir/share(挂载点)2、#vim/etc/auto.master/share/etc/auto.share--后面这个文件不存在,自定义的名字3、#vim/etc/auto.sharesoft-172..
分类:其他好文   时间:2014-05-13 02:06:56    阅读次数:388
海量数据解决思路之Hash算法
一、概述本文将粗略讲述一下Hash算法的概念特性,里边会结合分布式系统负载均衡实例对Hash的一致性做深入探讨。另外,探讨一下Hash算法在海量数据处理方案中的通用性。最后,从源代码出发,具体分析一下Hash算法在MapReduce框架的中的应用。二、Hash算法Hash可以通过散列函数将..
分类:其他好文   时间:2014-05-13 01:34:11    阅读次数:421
Hadoop集群硬件标准配置
在我们选择硬件的时候,往往需要考虑应用得到的性能和经费开支。为此,我们必须在满足实际需要和经济可行上找到一个完美的平衡。下面,以Hadoop集群应用为了例子,说明需要考虑的要素。     1. I/O绑定的工作负荷。       Hadoop涉及到的I/O操作,主要包括下列几项: 索引(Indexing) 群化(Grouping) 数据导入和导出(Data importing...
分类:其他好文   时间:2014-05-12 23:47:04    阅读次数:536
学习Hadoop生态系统最值得一读的书籍
学习大数据的处理,有必要读一下有关大数据的书籍。这里,我列举了几本书,仅供参考。       1 ZooKeeper: Distributed Process Coordination        这本书针对的是初级或者高级的开发,面向Zookeeper编程的工程师们。如果你的工程中(如HBase)涉及到Zookeeper的应用,有必要了解一下Zookeeper的管理知识和一些基本解...
分类:其他好文   时间:2014-05-12 22:46:32    阅读次数:662
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!