部署单机版的kafka消息队列,参考了网上很多的教程,发现网上的教程不是很详细,特别是kafak的配置文件相关的,于是自己搭建完成之后,重新整理并标注了配置文件。 ...
分类:
其他好文 时间:
2020-05-29 10:41:16
阅读次数:
58
第一步环境准备: jdk安装,用户用组新建 useradd -m hadoop passwd hadoop 修改密码 添加用户hadoop到hadoop用户组 wget https://downloads.apache.org/hadoop/common/hadoop-3.2.1/hadoop-3. ...
分类:
其他好文 时间:
2020-05-27 20:47:07
阅读次数:
90
排版比较丑,但按照此步骤执行一定会搭建成功。 一、环境描述及准备 1.下载Elasticsearch包 curl -L -O https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.7.0-linux-x86_64.t ...
分类:
其他好文 时间:
2020-05-27 12:02:56
阅读次数:
76
1、安装mysql8省略 2、安装nginx过程省略 3、下载nacos https://github.com/alibaba/nacos/releases 4、nacos解压目录 5、启动nacos服务(单机) Linux/Unix/Mac 启动命令(standalone代表着单机模式运行,非集群 ...
分类:
数据库 时间:
2020-05-26 10:36:12
阅读次数:
213
算法目标:支持中小型支付系统,单机房生成订单号QPS<=1w,保证订单号绝对唯一,机房内趋势递增; 序列号生成算法(字符串订单号): {2字节,机房唯一序列号}{14字节,年月日时分秒}{3字节,毫秒}{3字节,微秒}{4字节,自增序列号} 举例: 机房A: "{01}{20171028195147 ...
分类:
编程语言 时间:
2020-05-25 19:19:50
阅读次数:
125
如果说分布式互斥算法讲了如何协调多个进程获取权限和根据权限有序访问共享资源,即获得访问权限的进程可以访问共享资源,其他进程必须 等待拥有该权限的进程释放权限。这个权限的设置或者产生的原理就是分布式锁。 在单机多线程环境中,遇到多个线程访问同一个共享资源(在单机情况下,这种一般称作“临界资源”,分布式 ...
分类:
其他好文 时间:
2020-05-25 00:14:26
阅读次数:
60
业务背景 假设我们这样一个需求:每天晚上定时将数据库数据刷新到缓存中。数据库为 10 库 10 表。每张表 100 万数据。 需求分析 10库10表总共1亿条数据,各条数据只要序列化为字符串,存入缓存即可,相互无关联。但数据量较大,单机多线程执行的情况下,执行性能也是极慢的。所以我们考虑集群的方式处 ...
分类:
其他好文 时间:
2020-05-24 20:48:04
阅读次数:
71
基于redis的分布式锁(redisson) 分布式锁介绍: 我们在开发应用时,如果需要对一个共享变量进行多线程同步访问的时候,我们可以使用Java多线程的各个技能点来处理,保证完美运行无BUG。 但是这里的都只是单机应用,即在同一个JVM中;然后随着业务发展、微服务化,一个应用需要部署到多台服务器 ...
分类:
其他好文 时间:
2020-05-24 10:13:11
阅读次数:
47
redis号称单机QPS可达10万。为什单线程的redis竟然能达到这么高的qps? 网上有很多大佬已经给我们总结好了: 1、完全是内存操作 2、单线程处理 3、高效的数据结构,redis有自己的一套数据结构 4、使用多路复用i/o模型,非阻塞 5、其他方面的优化 我想多问几个问题: 第一点,red ...
分类:
其他好文 时间:
2020-05-24 00:26:31
阅读次数:
71
1.先安装好单机版的redis 2.Reids安装包里有个集群工具,要复制到/usr/local/bin里去 cd /home/redis/redis-4.0.6/src ls -1 cp redis-trib.rb /usr/local/bincd /usr/local/bin 已经复制进来了。 ...
分类:
其他好文 时间:
2020-05-23 20:44:09
阅读次数:
80