一.Zookeeper基本概念 分布式系统是同时跨越多个物理主机，独立运行的多个软件所组成的系统。分布式系统的协调工作就是通过某种方式，让某个节点的信息能够同步和共享。这依赖于服务进程之间的通信。通信方式有两种： 通过网络进行信息共享 通过共享存储 Zookeeper是作为分布式系统的分布式协同服务 ...
Java异常：java.lang.InstantiationException自己遇到的解决方法 java.lang.InstantiationException at sun.reflect.InstantiationExceptionConstructorAccessorImpl.newInst ...
分类：
其他好文 时间：
2020-07-01 00:17:03
阅读次数：
67
#/bin/bash##该脚本主要用于修复主从同步中的1062错误##执行脚本前，先检查是哪一个复制线程出错，即获取WORKER_ID的值user=rootpasswd=Fuck@anquan1.COMwhile truedomysql -u$user -p$passwd -e "show slav ...
分类：
数据库 时间：
2020-06-30 19:03:23
阅读次数：
51
Nginx配置通用语法 Nginx的配置文件只是一个普通的文本文件，这里借用《深入理解Nginx模块开发与架构解析》上的例子记录Nginx配置的通用语法。 user nobody; worker_processes 8; error_log varlog/nginx/error.log error; ...
分类：
其他好文 时间：
2020-06-30 17:44:24
阅读次数：
64
Nginx进程间的关系 在正式的产品环境中，Nginx都是使用一个master进程来管理多个worker进程，一般情况下，worker进程的数量和服务器的CPU核心数一致，每一个worker进程都是繁忙的，它们是nginx中真正的提供互联网服务的进程，相比之下，master进程则是很清闲的，它只负责 ...
分类：
系统相关 时间：
2020-06-30 16:02:04
阅读次数：
70
利用字典构建dataframe。 from pyspark.sql import SparkSession,Row spark = SparkSession.builder.appName("get_app_category").enableHiveSupport().config("spark.d ...
分类：
其他好文 时间：
2020-06-30 14:51:17
阅读次数：
59
本文已收录GitHub，更有互联网大厂面试真题，面试攻略，高效学习资料等一、涉及到的内容LVSHAProxyHarboretcdKubernetes(MasterWorker)二、整体拓补图以上是最小生产可用的整体拓补图（相关节点根据需要进行增加，但不能减少）按功能组划分SLBLVSHAProxyetcdK8SNode(Master/Worker)三、SLBLVS、HAProxy被规划为基础层，主
分类：
其他好文 时间：
2020-06-30 00:47:01
阅读次数：
80
MapReduce计算模型中，如果两个数据集的关联，并不是通过数据集的一个唯一键和另一个数据集的一个唯一键关联，那么会导致大量数据分发到一个节点计算，使其效率极其低下。 这里的MapReduce并不是仅仅是hive中的mapreduce模型，而是计算思想模型，比如spark、flink等，甚至更广阔 ...
分类：
其他好文 时间：
2020-06-30 00:16:31
阅读次数：
68
遇到的问题： 1. SPARK & HADOOP 不能安装在有空格的目录下 比如 programs file这种 2. 需要设置环境变量 PYSPARK_PYTHON PYSPARK_DRIVER_PYTHON 到3.6.5的环境，不然3.6 3.7会撞车 ...
分类：
其他好文 时间：
2020-06-29 21:28:22
阅读次数：
66
scala 一: scala基础 1 概念 Scala就是一门语言, 是spark的框架语言. 继承了面向对象编程和函数式编程. Scala是一种多范式的编程语言，其设计的初衷是要集成面向对象编程和函数式编程的各种特性。Scala运行于Java平台（Java虚拟机），并兼容现有的Java程序。htt ...
分类：
其他好文 时间：
2020-06-29 18:52:39
阅读次数：
75
