最近有幸，在学校的图书馆借到了子柳先生的《淘宝技术这十年》，拜读一番，感慨万分。将书中内容加上自己的想法与诸君分享，毕竟未经人事看法粗浅，希望能得到园子里前辈们的指点~一、淘宝的核心技术（国内乃至国际的Top，这还是2011年的数据）拥有全国最大的分布式Hadoop集群（云梯，2000左右节点，.....
分类：
其他好文 时间：
2014-10-13 22:59:47
阅读次数：
303
第四步修改配置文件slaves，如下所示：我们设置Hadoop集群中的从节点为SparkWorker1和SparkWorker2，把slaves文件的内容修改为：第五步修改配置文件core-site.xml，如下所示：把core-site.xml文件的内容修改为：上述是core-site.xml文件的最小化配置，core-site.xml各项配置可..
分类：
其他好文 时间：
2014-10-10 17:15:24
阅读次数：
210
第四步修改配置文件slaves，如下所示：
我们设置Hadoop集群中的从节点为SparkWorker1和SparkWorker2，把slaves文件的内容修改为：
第五步修改配置文件core-site.xml，如下所示：
把core-site.xml文件的内容修改为：
上述是core-site.xml文件的最小化配置，core-si...
分类：
其他好文 时间：
2014-10-10 12:26:24
阅读次数：
148
第四步修改配置文件slaves，如下所示： 我们设置Hadoop集群中的从节点为SparkWorker1和SparkWorker2，把slaves文件的内容修改为： 第五步修改配置文件core-site.xml，如下所示： 把core-site.xml文件的内容修改为...
分类：
其他好文 时间：
2014-10-10 11:56:15
阅读次数：
118
前言本文基于实际Linux管理工作，实例讲解工作中使用ssh证书登录的实际流程，讲解ssh证书登录的配置原理，基于配置原理，解决实际工作中，windows下使用SecureCRT证书登录的各种问题，以及实现hadoop集群部署要求的无密码跳转问题。ssh有密码登录和证书登录，初学者都喜欢用密码登录，...
分类：
系统相关 时间：
2014-09-30 11:43:22
阅读次数：
291
1、集群部署介绍1.1 Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统（HDFS，Hadoop Distributed Filesystem）和MapReduce（Google MapReduce的开源实现）为核心的Hadoop为用....
分类：
其他好文 时间：
2014-09-28 14:04:02
阅读次数：
309
1、Hadoop开发环境简介1.1 Hadoop集群简介 Java版本：jdk-6u31-linux-i586.bin Linux系统：CentOS6.0 Hadoop版本：hadoop-1.0.0.tar.gz 1.2 Windows开发简介 Java版本：jdk-6u31-windows...
分类：
系统相关 时间：
2014-09-28 13:05:52
阅读次数：
286
1、准备安装1.1 系统简介 CentOS 是什么？ CentOS是一个基于Red Hat 企业级 Linux 提供的可自由使用的源代码企业级的 Linux 发行版本。每个版本的 CentOS 都会获得七年的支持（通过安全更新方式）。新版本的 CentOS 每两年发行一次，而每个版本的 Cen...
分类：
其他好文 时间：
2014-09-28 12:42:32
阅读次数：
337
前言本文介绍的是在Ubuntu下安装用三台PC安装完成Hadoop集群并运行好第一个Hello World的过程，软硬件信息如下：Ubuntu:12.04 LTSMaster: 1.5G RAM,奔腾处理器。Slave1、Slave2:4G RAM,I3处理器。开始1 安装Ubuntu :http:...
分类：
其他好文 时间：
2014-09-18 18:38:04
阅读次数：
326
系统日志文件 1、建议修改Hadoop系统日志文件默认设置，使之独立于Hadoop的安装目录 默认情况下，Hadoop生成的系统日志文件存放在$HADOOP_INSTALL/logs目录之中，也可以通过hadoop-env.sh文件中的HADOOP_LOG_DIR来...
分类：
其他好文 时间：
2014-09-15 22:59:50
阅读次数：
353
