简介
本文档对从 Apache Hadoop 1.x 迁移他们的Apache Hadoop MapReduce 应用到
 Apache Hadoop 2.x 的用户提供了一些信息。
在 Apache Hadoop 2.x 中,我们已经把资源管理功能放入 分布式应用管理框架 的Apache
 Hadoop YARN,而 Apache Hadoop MapReduce (亦称 MRv2) 保持...
                            
                            
                                分类:
其他好文   时间:
2014-05-14 00:55:11   
                                阅读次数:
294
                             
                    
                        
                            
                            
                                lk@lk-virtual-machine:~/hadoop-1.0.1/bin$ ./hadoop dfs -rmr output
Deleted hdfs://localhost:9000/user/lk/output
lk@lk-virtual-machine:~/hadoop-1.0.1/bin$ ./hadoop jar ~/mytopk.jar top.Top  input out...
                            
                            
                                分类:
其他好文   时间:
2014-05-13 06:53:12   
                                阅读次数:
448
                             
                    
                        
                            
                            
                                环境说明
1、硬件说明
使用三台PC机,角色分配如下
2、软件说明
约定所有软件都放在/usr/local/路径下
准备工作
1、安装jdk
2、配置SSH
Storm集群安装
安装流程图
1、安装Zookeeper集群
2、安装Storm依赖
zeromq、jzmq、pytho...
                            
                            
                                分类:
其他好文   时间:
2014-05-13 05:44:31   
                                阅读次数:
345
                             
                    
                        
                            
                            
                                lk@lk-virtual-machine:~/hadoop-1.0.1/bin$ ./hadoop jar ~/hadoop-1.0.1/to.jar top.Top input output
14/05/12 03:44:37 WARN mapred.JobClient: Use GenericOptionsParser for parsing the arguments. Applicat...
                            
                            
                                分类:
其他好文   时间:
2014-05-13 05:38:18   
                                阅读次数:
291
                             
                    
                        
                            
                            
                                此脚本可以做一个定时的检测,超出设定的值,即往邮箱发送警告脚本用到bc,sendmail,163邮箱,yuminstallbc#!/bin/bash
#SystemMonitoringScript
while[1]
do
#本机需开启postfix或sendmail服务。
#报警邮件地址设置
MAILFROM=root@localhost
MAILTO=your_mail@163.com
#设置..
                            
                            
                                分类:
系统相关   时间:
2014-05-13 05:05:29   
                                阅读次数:
649
                             
                    
                        
                            
                            
                                WindowsServer2012R2对Linux的支持变得越来越多了,用SCVMM2012R2部署Linux(如CentOS)显得更有价值,比如支持动态内存,运行效率更高等等。在SCVMM2012R2中部署Linux和Windows有很大差异,你以为"下一步"不停点下去就能搞定么?那是不可能的。=====前置条件========新手通过S..
                            
                            
                                分类:
系统相关   时间:
2014-05-13 02:22:24   
                                阅读次数:
462
                             
                    
                        
                            
                            
                                1. mongodb创建数据库和集合
mongodb数据库和集合的创建是隐式的。
意思是说不用单独写create database 语句。
直接使用use关键词即可。
在bin/mongo shell下运行:...
                            
                            
                                分类:
数据库   时间:
2014-05-13 00:28:12   
                                阅读次数:
445
                             
                    
                        
                            
                            
                                在我们选择硬件的时候,往往需要考虑应用得到的性能和经费开支。为此,我们必须在满足实际需要和经济可行上找到一个完美的平衡。下面,以Hadoop集群应用为了例子,说明需要考虑的要素。
    1. I/O绑定的工作负荷。
      Hadoop涉及到的I/O操作,主要包括下列几项:
索引(Indexing)
群化(Grouping)
数据导入和导出(Data importing...
                            
                            
                                分类:
其他好文   时间:
2014-05-12 23:47:04   
                                阅读次数:
536
                             
                    
                        
                            
                            
                                把asp程序作成dll很多好处,但是有一点,该dll必须注册才能在asp中调用。如果是自己的服务器那还好,但如果是租用的虚拟服务器,就没办法使用了。 
怎样在远程主机上注册我们的dll呢?在服务器端使用Shell!!!
让我们先将自己的dll文件通过ftp或http上传到服务器上,然后作一个asp程序,调用WScript.Shell来执行regsvr32命令: 
Set oShell = C...
                            
                            
                                分类:
其他好文   时间:
2014-05-12 23:45:04   
                                阅读次数:
377
                             
                    
                        
                            
                            
                                学习大数据的处理,有必要读一下有关大数据的书籍。这里,我列举了几本书,仅供参考。
      1 ZooKeeper: Distributed Process Coordination
       这本书针对的是初级或者高级的开发,面向Zookeeper编程的工程师们。如果你的工程中(如HBase)涉及到Zookeeper的应用,有必要了解一下Zookeeper的管理知识和一些基本解...
                            
                            
                                分类:
其他好文   时间:
2014-05-12 22:46:32   
                                阅读次数:
662