最近连着搭了两次hadoop的集群，搭建的时候也碰到了一些问题，因为之前对linux 不熟悉，经常遇到各种问题和命令忘记写，幸亏有度娘谷哥，这里做一个记录 下次使用的时候用的上 计算机的配置 分布式安装的主要的几个步骤就是 1、安装虚拟机 2、安装操作系统 3、配置静态ip（为了避免局域网ip冲突， ...
分类：
系统相关 时间：
2017-04-06 17:49:07
阅读次数：
395
Jmeter压测过程中，由于测试机配置有限，CPU、内存都可能是存在瓶颈。如果使用很大的并发进行测试时，就可能会感到程序比较卡，这时候就无法继续增加压力了。 解决方法： 搭建Jmeter分布式集群，远程启动测试。 步骤如下： 1、在分布式集群中，脚本编辑、控制的机器叫做“client”，实际运行Jm ...
分类：
其他好文 时间：
2017-04-01 17:17:10
阅读次数：
190
在先前的几篇随笔中已经介绍了Hadoop、Zookeeper、Hbase的分布式框架搭建方案，目前已经搭建完成了一个包含11个节点的分布式集群。而对于HBase数据库的使用仅限于测试性质的增删改查指令，为了进一步熟悉分布式框架的使用，本文介绍将已有的数据从关系型数据库SQL Server中导入到HB ...
分类：
数据库 时间：
2017-03-30 19:44:05
阅读次数：
403
一、依赖文件安装 1.1 JDK 参见博文：http://www.cnblogs.com/liugh/p/6623530.html 1.2 Hadoop 参见博文：http://www.cnblogs.com/liugh/p/6624872.html 1.3 Scala 参见博文：http://ww ...
分类：
其他好文 时间：
2017-03-27 11:40:41
阅读次数：
227
之前介绍过关于HBase 0.9.8版本的部署及使用，本篇介绍下最新版本HBase1.2.4的部署及使用，有部分区别，详见如下： 1. 环境准备： 1.需要在Hadoop[hadoop-2.7.3] 启动正常情况下安装，hadoop安装可参考LZ的文章 大数据系列之Hadoop分布式集群部署 2. ...
分类：
数据库 时间：
2017-03-19 11:42:27
阅读次数：
313
————————————————————————————————————————————————————————————这里可以忽略：（突然想到的小命令）小知识点：#cat/etc/sysconfig/i18nLANG="zh_CN.UTF-8"#LANG=zh_CN.UTF-8#yumgrouplist#yumlist#LANG=en#yumgr..
分类：
其他好文 时间：
2017-03-17 21:12:45
阅读次数：
144
传统的运维人员通常只面对几十或者上百台的服务器，但在大规模分布式集群中，运维人员面临工作任务明显不同。本文分别阐述服务器数量激增，要求提升全局掌控能力，如何实现系统的自我保护和自动化恢复，大规模与精细化平衡，以及需要开发和运维更加紧密合作等方面，通过对真实数据进行分析和预测，将判断失误概率降到最低。 ...
分类：
其他好文 时间：
2017-03-16 19:09:20
阅读次数：
287
本文讲的是如何使用zookeeper将solr分布式部署，也可以理解为tomcat分布式部署。 为什么要使用zookeeper，请参考文章《Solr的SolrCloud与Master-slave主从模式对比》http://blog.csdn.net/jiangchao858/article/deta ...
分类：
其他好文 时间：
2017-03-14 19:09:23
阅读次数：
359
本节目的：搭建Hadoop分布式集群环境 检测主机名是否修改成功命令如下，在操作之前需要关闭当前终端，重新打开一个终端：即可看到终端命令前是[user@hostname] 添加内容(LZ master Ip是10.211.55.3，Salve Ip 是10.211.55.4) 如图表示修改成功 复制 ...
分类：
其他好文 时间：
2017-03-10 23:37:37
阅读次数：
270
1.选取三台服务器（CentOS系统64位） 114.55.246.88 主节点 114.55.246.77 从节点 114.55.246.93 从节点 之后的操作如果是用普通用户操作的话也必须知道root用户的密码，因为有些操作是得用root用户操作。如果是用root用户操作的话就不存在以上问题。 ...
分类：
其他好文 时间：
2017-02-28 15:27:36
阅读次数：
403
