安装包 ambari-2.7.3.0-centos7.tar.gz HDP-3.1.0.0-centos7-rpm.tar.gz HDP-UTILS-1.1.0.22-centos7.tar.gz HDP-GPL-3.1.0.0-centos7-gpl.tar.gz Ambari Ambari 跟 ...
分类:
其他好文 时间:
2021-06-23 16:52:56
阅读次数:
0
环境准备 kafka依赖zookeeper,所以搭建kafka需要先配置zookeeper。网格信息如下: zookeeper 192.168.56.101:2181 kafka1 192.168.56.101:9092 kafka2 192.168.56.101:9093 kafka3 192.1 ...
分类:
其他好文 时间:
2021-06-23 16:51:10
阅读次数:
0
为什么要分库分表? 将承受并发的能力提升3倍 将大数据了拆成多份 提升sql效率 用过哪些分库分表中间件/不同中间件的优缺点 cobar TDDL 只支持基本的crud操作 atlas 社区不咋维护了 sharding-jdbc(集成client) 运维成本低 缺点是耦合系统版本 mycat(pro ...
分类:
数据库 时间:
2021-06-23 16:37:48
阅读次数:
0
spark-RDD缓存,checkpoint机制,有向无环图,stage 1.RDD依赖关系 RDD依赖关系有2种不同类型,窄依赖和宽依赖。 窄依赖(narrow dependency):是指每个父RDD的Partition最多被子RDD一个Partition使用。就好像独生子女一样。窄依赖的算子包 ...
分类:
其他好文 时间:
2021-06-22 18:39:47
阅读次数:
0
Docker理论知识 Docker 是一个开源的应用容器引擎,基于 Go 语言 并遵从 Apache2.0 协议开源。Docker 可以让开发者打包他们的应用以及依赖包到一个轻量级、可移植的容器中,然后发布到任何流行的 Linux 机器上,也可以实现虚拟化。容器是完全使用沙箱机制,相互之间不会有任何 ...
分类:
其他好文 时间:
2021-06-22 18:26:51
阅读次数:
0
dockerfile就是用来构建docker镜像的构建文件 写入命令脚本 通过这个脚本可以生成镜像,镜像是一层一层的,脚本一个个的命令,每个命令都是一层 [root@iZmu0fa4hv0jwzZ home]# mkdir docker-test-volume [root@iZmu0fa4hv0jw ...
分类:
其他好文 时间:
2021-06-21 20:36:25
阅读次数:
0
安装docker的准备工作 参考文档>>>https://yeasy.gitbook.io/docker_practice/ DockerHub官网>>>https://hub.docker.com/ 升级centos的yum源 sudo yum update 设置yum源 官方源>sudo yum ...
分类:
其他好文 时间:
2021-06-21 20:16:40
阅读次数:
0
1、122 公钥 加入120 121 的 authorized_keys2、搭私服3、主机安装jenkins4、jenkins命令行 build tag push ssh 远程服务器 ' pull' ssh 远程服务器 ' run' ...
分类:
其他好文 时间:
2021-06-21 19:56:06
阅读次数:
0
#!/bin/bash rm -rf /var/lib/docker yum remove docker \ docker-client \ docker-client-latest \ docker-common \ docker-latest \ docker-latest-logrotate ...
分类:
其他好文 时间:
2021-06-21 19:53:25
阅读次数:
0
脚本位置 cd /home/hadoop/bin 脚本内容 vi kafka.sh #输入以下内容 #!/bin/bash case $1 in "start" ){ for(( i = 1;i <= 3;i = $i +1));do echo hadoop0$i kafka $1 ssh hado ...
分类:
其他好文 时间:
2021-06-20 18:41:23
阅读次数:
0