一 完全分布式集群(单点) Hadoop官方地址:http://hadoop.apache.org/ 1 准备3台客户机 1.1防火墙,静态IP,主机名 关闭防火墙,设置静态IP,主机名此处略,参考 Linux之CentOS7.5安装及克隆 1.2 修改host文件 我们希望三个主机之间都能够使用主 ...
分类:
其他好文 时间:
2019-03-25 10:29:29
阅读次数:
165
如果采用redis数据库集群操作方式爬取数据源,那么爬虫客户端最好设置redis数据库的密码,否则对方将无法进行数据库链接操作,并且会报未知错误。 redis-cli -h 192.168.1.53 -p 6379 -a 12345 (依次是 目标主机地址,端口号,对方数据库密码) 如此能确保集群的 ...
分类:
数据库 时间:
2019-03-23 22:38:56
阅读次数:
220
一,高可用高可用(HighAvailability),是当一台服务器停止服务后,对于业务及用户毫无影响。停止服务的原因可能由于网卡、路由器、机房、CPU负载过高、内存溢出、自然灾害等不可预期的原因导致,在很多时候也称单点问题。(1)解决单点问题主要有2种方式:主备方式这种通常是一台主机、一台或多台备机,在正常情况下主机对外提供服务,并把数据同步到备机,当主机宕机后,备机立刻开始服务。RedisHA
分类:
其他好文 时间:
2019-03-19 18:38:26
阅读次数:
129
Hadoop是目前最常用的一个大数据分析工具,其核心组成是HDFS和MapReduce。本文对Hadoop2.0的基本安装和配置进行了一个概述,希望对Hadoop感兴趣的人能够对Hadoop有进一步的了解
分类:
其他好文 时间:
2019-03-18 18:38:33
阅读次数:
145
今天,利用大家的休息时间分享postgresql分布式集群,利用Citus实现分库分表。一、Citus是什么citus是PG的一个sharding插件,可以把PG变成一个分布式数据库。目前在苏宁有大量的生产应用跑在citus+pg的环境中。大家可以看it大咖视频。citus是一款基于PostgreSQL的开源分布式数据库,自动继承了PostgreSQL强大的SQL支持能力和应用生态(不仅仅是客户端
分类:
数据库 时间:
2019-03-15 18:51:04
阅读次数:
1911
1首先对于一个java还白的小白,先理解CDH与Hadoop的关系 一、Hadoop版本选择。 Hadoop大致可分为Apache Hadoop和第三方发行第三方发行版Hadoop,考虑到Hadoop集群部署的高效,集群的稳定性, 以及后期集中的配置管理,业界多使用Cloudera公司的发行版,简称 ...
分类:
其他好文 时间:
2019-03-14 18:14:32
阅读次数:
1080
背景 在分布式集群中,对机器的添加删除,或者机器故障后自动脱落集群这些操作是分布式集群管理最基本的功能。如果采用常用的hash(object)%N算法,那么在有机器添加或者删除后,很多原有的数据就无法找到了,这样严重的违反了单调性原则。 解释使用hash(object)%N,其中N是指N个cache ...
分类:
编程语言 时间:
2019-03-12 21:19:25
阅读次数:
255
1、分布式集群架构 2、分布式高并发环境的订单号要求 全局唯一 订单号信息安全要求 趋势递增要求 3、订单号生成策略总结 | 策略 | 优点 | 缺点 | 格式 | | | | | | | uuid | 实现简单不占用带宽 | 无序、不可读、查询慢 | 32位 | | db自增 | 无代码、递归 | ...
分类:
其他好文 时间:
2019-03-04 20:41:15
阅读次数:
176
redis集群是利用hash槽的方式实现的节点出错和扩展的过程中,不影响key的命中 hash槽对比hash环 hash槽 就是类比成插槽 1到3w的插槽,按hash计算放到不同的位置,当有节点新增或者被删除的时候,可以吧一部分槽数据分出去或者合进来,其他一部分数据不变。 应用 redis hash ...
分类:
其他好文 时间:
2019-03-04 17:15:52
阅读次数:
179
集群:集中力量办一件事,一个业务功能节点对应多个服务器,一个服务器挂了,这个功能还能做。 分布式:不同的事交给不同的来做,每个服务器对应一个任务,这个服务器挂了,这个功能就完蛋。 例如:如果一个大碉堡里面有五个小碉堡。分布式的话就是每个小碉堡下面安一个手榴弹,每个手榴弹负责爆破一个碉堡,集群的话就是 ...
分类:
其他好文 时间:
2019-03-01 12:16:15
阅读次数:
201