（一）HA下配置spark 1，spark版本型号：spark-2.1.0-bin-hadoop2.7 2，解压，修改配置环境变量 3，修改spark-env.sh文件 4，修改slaves文件 5，分发及启动 各个节点jps情况： [root@ha1 spark-2.1.0]# jps 2464 ...
分类：
其他好文 时间：
2017-08-06 20:45:14
阅读次数：
209
一，概念 hive:是一种数据仓库，数据储存在：hdfs上，hsql是由替换简单的map-reduce，hive通过mysql来记录映射数据 二，安装 1，mysql安装： 1，检测是否有mariadb 2，安装前准备： 3，配置mysql： 2，hive安装(hive-2.1.1) 1，安装前配置 ...
分类：
其他好文 时间：
2017-08-02 19:59:23
阅读次数：
198
kafka分布式搭建 (192.168.230.129)master (192.168.230.130)slave1 (192.168.230.131)salve2 在master、slave1、slave2三台主机上配置kafaka分布式集群 准备工作：在三台机器上配置好zookeeper 1、解 ...
分类：
其他好文 时间：
2017-07-30 13:59:23
阅读次数：
195
Elasticsearch集群知识笔记 Elasticsearch内部提供了一个rest接口用于查看集群内部的健康状况： Elasticsearch内部提供了一个rest接口用于查看集群内部的健康状况： curl -XGET http://localhost:9200/_cluster/health ...
分类：
其他好文 时间：
2017-07-27 00:50:31
阅读次数：
342
vmware虚拟机环境：192.168.60.128master
192.168.60.129node129
192.168.60.130node1301、修改每台虚拟机的/etc/sysconfig/network和/etc/hosts#修改hostname：vim/etc/sysconfig/network#修改hosts内容如下：vim/etc/hosts192.168.60.128master
192.168.60.129node129
192.16..
分类：
其他好文 时间：
2017-07-26 17:46:57
阅读次数：
157
一、kafka、zookeeper分布式集群简介一句话概括kafka：kafka是一个具备很强容错能力和实时处理能力的分布式流数据平台。Kafka的应用场景：kafka可在以下场景中应用：基于流数据的发布订阅消息系统、基于流数据的高效异步通信中间件、基于流数据的高可用分布式存储；可以替代传..
分类：
其他好文 时间：
2017-07-25 19:37:10
阅读次数：
249
高并发: 高并发主要是由于网站PV访问量大，单台服务器涌承载大量访问所带来的压力，所以会采用多台服务器进行分流，采用服务器集群技术，对于每个访问会被 发送到哪台服务器，我们采取负载均衡策略，常见的技术有LVS，由于网站中有大量的静态页面，所以采用缓存服务器和反向代理技术，包括HAPROXY，Redi ...
分类：
其他好文 时间：
2017-07-22 12:01:53
阅读次数：
204
memcached在Java中的应用: magent配置memcached分布式集群的应用: ...
分类：
编程语言 时间：
2017-07-19 01:13:08
阅读次数：
184
今天翻出了以前搭建的一个hadoop简单的伪分布式集群，三个在虚拟机上的centos系统，但是密码忘记了。本想再装一套oraclelinux，由于时间关系，还是决定查一查找回centos密码的方法。做个记录，方便查阅。 1.所有密码都忘记了 开机时长按esc，进入一个界面，选第二项按e，输入空格+1 ...
分类：
系统相关 时间：
2017-07-18 01:44:50
阅读次数：
334
转载请说明出处：http://blog.csdn.net/cywosp/article/details/21259391 现在很多互联网科技公司，还有一些传统的it公司都在根据自身的业务发展来设计符合实情的分布式系统。虽然，已有很多优秀的开源分布式系统，但是由于需求不同，业务不同，这些只能在设计符合 ...
分类：
其他好文 时间：
2017-07-16 20:51:00
阅读次数：
222
