Spark 源码解读（四）SparkContext的初始化之创建任务调度器TaskScheduler TaskScheduler负责任务任务的提交，并请求集群管理器对任务的调度。创建TaskScheduler的代码如下： val (sched, ts) = SparkContext.createTa ...
分类：
其他好文 时间：
2020-07-03 00:59:56
阅读次数：
63
1、简要描述如何安装配置一个apache开源版hadoop，描述即可 （1）解压Hadoop （2）配置JDK，防火墙、Hadoop环境 （3）修改Hadoop配置 （4）格式化namenode，对数据缓存的的路径进行格式化 （5）启动Hadoop 2、请列出正常工作的hadoop集群中hadoop ...
分类：
其他好文 时间：
2020-07-03 00:53:22
阅读次数：
83
Zookeeper集群完成Leader选举后，会进行Leader和Follower的数据同步（或叫状态同步），完成同步是保证服务器数据一致，可以提供服务的前提，接下来记录下Zookeeper数据同步相关的内容，主要参考文末书籍和博文。 数据同步分类 Zookeeper中数据同步一共有四类，如下。 D ...
分类：
其他好文 时间：
2020-07-03 00:40:01
阅读次数：
72
Oracle归档日志所在目录时间不对&&Oracle集群日志时间显示错误 前言 这个问题在18年的时候遇到了，基本不注意并且集群或者数据库运行正常是很难注意到的。 忘记当时怎么发现的了，最近拿出来重现一下问题。 具体描述一下问题： 比如当前时间是2020年07月03日0点，数据库对redo log发 ...
分类：
数据库 时间：
2020-07-02 23:21:25
阅读次数：
135
一、版本说明： MYSQL自从被ORCLE收购后，软件的版本也ORACLE化，整体的感觉就是服务的费用提高了很多，整体的软件的Supports也有相应的提高；MYSQL根据软件的功能可以分成三个版本：社区版、企业版、集群版。 社区版：1、 社区版是企业版的测试版，免费的，包含所有Mysql的最新功能 ...
分类：
数据库 时间：
2020-07-02 22:11:23
阅读次数：
300
转自 https://www.cnblogs.com/lazycxy/p/11422216.html elk安装与搭建 Elasticsearch安装配置 ·下载elasticsearch.tar.gz包，解压压缩包。（此处为单机版es，集群请参考 https://www.cnblogs.com/l ...
分类：
其他好文 时间：
2020-07-02 21:50:29
阅读次数：
60
部署 kube-controller-manager 在【管理节点1】与【管理节点2】的kubernetes安装目录添加kube-controller-manager.sh启动文件。 cd /opt/kubernetes/server/bin vi kube-controller-manager.s ...
分类：
其他好文 时间：
2020-07-02 20:04:14
阅读次数：
96
1、两种数据丢失的情况 主备切换的过程，可能会导致数据丢失 （1）异步复制导致的数据丢失 因为master -> slave的复制是异步的，所以可能有部分数据还没复制到slave，master就宕机了，此时这些部分数据就丢失了 （2）脑裂导致的数据丢失 脑裂，也就是说，某个master所在机器突然脱 ...
分类：
其他好文 时间：
2020-07-02 18:17:32
阅读次数：
60
1.Redis介绍 Redis说白了就是个存放Key-Value数据接口的内存存储系统，主要用作数据库缓存和消息代理。 内部支持sring，hash，list，set，sorted-set五种数据结构。Redis支持Lua脚本，可以通过集群部署的方式实现高可用。 2.Redis安装 2.1 Wind ...
分类：
其他好文 时间：
2020-07-02 16:46:52
阅读次数：
73
1，进入fastdfs的安装目录： 2，修改http.conf文件，详情可参考： https://www.cnblogs.com/xiaolinstudy/p/9341779.html 3，重启nginx才能重新使用http.conf 只有当出现下面的进程信息才能算是启动nginx成功：（之前看到m ...
分类：
Web程序 时间：
2020-07-02 16:33:40
阅读次数：
67
