ShuffleManager（一） 本篇,我们来看一下spark内核中另一个重要的模块，Shuffle管理器ShuffleManager。shuffle可以说是分布式计算中最重要的一个概念了，数据的join，聚合去重等操作都需要这个步骤。另一方面，spark之所以比mapReduce的性能高其中一个 ...
分类：
其他好文 时间：
2019-06-15 09:57:51
阅读次数：
87
HDFS高可用性Hadoop HDFS 的两大问题：NameNode单点：虽然有StandbyNameNode，但是冷备方案，达不到高可用--阶段性的合并edits和fsimage，以缩短集群启动的时间--当NameNode失效的时候，Secondary NN并无法立刻提供服务，Secondary ...
分类：
Web程序 时间：
2019-06-14 18:22:47
阅读次数：
298
环境搭建，我用的是Ubuntu18.04.python3自行安装。 安装pyqt5包。 安装所有依赖。 安装Qt设计师。 书中用的是eric6，但是我下载下来这个图标是一个蛇头，懒得换，挺吓人的，我还是用我的pycharm吧。我觉得功能也能补全。 接下来配置pycharm。 在设置中找到extern ...
分类：
其他好文 时间：
2019-06-08 00:41:48
阅读次数：
115
存储持续性：变量从声明到销毁。 自动存储持续性：自动变量（如在函数内int a;）的持续性为自动，在代码块({...}或函数内)中被创建，执行完函数或代码块后销毁，内存被释放。如在函数内(包括main)声明自动变量，则函数结束后就销毁。 静态存储持续性：在函数外(如在main之前声明int a;另外 ...
分类：
其他好文 时间：
2019-06-06 19:15:20
阅读次数：
94
编译 GCC编译的几个步骤 gcc产生类型转换告警 枚举之后define 变量（指针） 二级指针（二） 操作符 语句 函数 关键字 c中extern的作用 示例code积累 ipv6地址累加函数 常见错误汇总 a label can only be part of statement and a d ...
分类：
编程语言 时间：
2019-06-05 22:13:38
阅读次数：
116
public class INIConfigHelper { public string Path; //INI文件名 [DllImport("kernel32")] private static extern long WritePrivateProfileString(string sectio... ...
跨站请求伪造（Cross-site request forgery）是一种冒充受信任用户，向服务器发送非预期请求的攻击方式。 ...
分类：
其他好文 时间：
2019-06-03 14:18:01
阅读次数：
113
.cpp //若没有在项目属性--库文件、依赖文件、包含添加。则添加一下路径 #pragma comment (lib,"lua5.1.lib") #include "stdafx.h" #include "lua.hpp" extern "C" { #include "lua.h" #includ ...
分类：
其他好文 时间：
2019-06-02 16:23:34
阅读次数：
139
lib使用: #include "xxx.h" // lib的头文件 #pragma comment(lib, "xxx.lib") 这样会将lib里的数据编译到exe文件中 dll使用2种方法: 隐式调用: #pragma comment(lib, "testDll.lib")extern "C" ...
分类：
其他好文 时间：
2019-06-01 13:50:50
阅读次数：
89
/* Define to prevent recursive inclusion -------------------------------------*/ #ifndef __LCD_H #define __LCD_H #ifdef __cplusplus extern "C" { #endi... ...
分类：
其他好文 时间：
2019-05-28 11:14:40
阅读次数：
191
