hdfs 上传小文件到集群 上传大文件到集群 hdfs每个block默认为128m，大于128m的会进行分块存储，下载时为完整下载 文件在hdfs的实际路径 查看HDFS在磁盘存储文件内容 文件删除与验证 ...
分类：
其他好文 时间：
2021-01-12 11:13:14
阅读次数：
0
主从概念 ?个master可以拥有多个slave，?个slave?可以拥有多个slave，如此下去，形成了强?的多级服务器集群架构 master用来写数据，slave用来读数据，经统计：网站的读写比率是10:1 通过主从配置可以实现读写分离 master和slave都是一个redis实例(redis ...
分类：
其他好文 时间：
2021-01-12 10:40:05
阅读次数：
0
各类消息中间件对顺序消息实现的做法是将具有顺序性的一类消息发往相同的主题分区中，只需要将这类消息设置相同的 Key 即可，而 Kafka 会在任意时刻保证一个消费组同时只能有一个消费者监听消费，因此可在消费时按分区进行顺序消费，保证每个分区的消息具备局部顺序性。由于需要确保分区消息的顺序性，并不能并 ...
分类：
编程语言 时间：
2021-01-11 11:11:50
阅读次数：
0
一.问题描述 某集群数据节点服务器频繁无法连接，服务器间出现可ping通但ssh无法连接的情况，使用带外地址登录后远程控制也无法显示正常界面，重启后会短暂恢复。 二.排查问题 重启服务器后检查服务器SSH状态均为正常，无奈只能去Redhat官网提case并sosreport收集日志等信息反馈后等待分 ...
分类：
系统相关 时间：
2021-01-11 10:32:06
阅读次数：
0
开发的进度已经到了服务发现了，在选择zookeeper和etcd的时候，我还真犹豫了，虽然两个都曾用过，但是长久不用就都忘了，又查了下两者的对比资料，发现在服务发现方面，两者都差不多的。只是zookeeper有Ephemeral的概念，Ephemeral结点在Zookeeper中是一个临时结点，这些 ...
分类：
其他好文 时间：
2021-01-08 11:30:08
阅读次数：
0
1、//配置分组主机 vim /etc/ansible/hosts 内容：# 方法一 主机+端口+密码 [webservers] 192.168.16.1 ansible_ssh_port=22 ansible_ssh_user=root ansible_ssh_pass="123456" # 方法 ...
分类：
其他好文 时间：
2021-01-08 11:23:03
阅读次数：
0
概述：Spark 程序开发，调试和运行，intellij idea开发Spark java程序。分两部分，第一部分基于intellij idea开发Spark实例程序并在intellij IDEA中运行Spark程序.第二部分，将开发程序提交到Spark local或者hadoop YARN集群运行 ...
分类：
编程语言 时间：
2021-01-08 10:56:23
阅读次数：
0
启动相关命令 zkServer.sh start 启动服务 zkCli.sh 登录客户端 查看相关命令 h 帮助，列出所有命令 ls path 查看节点 ls2 path 查看节点信息及子节点 get path 查看节点信息及数据 stat path 查看节点信息 备注：ls2、get与stat区别 ...
分类：
其他好文 时间：
2021-01-08 10:37:40
阅读次数：
0
什么是druid druid是一个为OLAP查询需求而设计的开源大数据系统，druid提供低延时的数据插入，实时的数据查询 druid使用Java开发，基于Jetty提供http rest服务，也提供了Java/Python等语言的工具包 druid是一个集群系统，使用zookeeper做节点管理和 ...
分类：
其他好文 时间：
2021-01-08 10:28:10
阅读次数：
0
刚才支付在zookeeper注册了，现在搞个订单服务注册并去调用支付。 1.创建模块 2.引入依赖 3.改配置 server: port: 80 # 服务别名 zookeeper注册中心名称 spring: application: name: cloud-consumer-order cloud: ...
分类：
编程语言 时间：
2021-01-07 12:30:07
阅读次数：
0
