目录 目录LSMTree基本特性LevelDB基于LSMTree整体架构MemTable和Immutable MemTableSSTable和压实（compaction）SSTable的读Manifest文件current 文件参考文献toc LSMTree基本特性 LSM Tree（Log-Str ...
分类：
数据库 时间：
2021-02-17 14:19:17
阅读次数：
0
前面一篇文章提到大数据开发-Spark Join原理详解,本文从源码角度来看cogroup 的join实现 1.分析下面的代码 import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} obje ...
分类：
其他好文 时间：
2021-02-16 12:23:59
阅读次数：
0
xpath解析：最常用且最便捷高效的一种解析方式，通用性 -xpath解析原理： -1、实例化一个etree的对象，且需要将被解析的页面源码数据加载到该对象中。 -2、调用etree对象中的xpath方法结合这xpath表达式实现标签的定位和内容的捕获 -环境的安装： -pip install lx ...
分类：
编程语言 时间：
2021-02-16 12:20:18
阅读次数：
0
dremio 自定义函数的开发与drill 模式是一样的，以下是一个简单demo 预备 dremio 一些核心的功能都是在 dremio-sabot-kernel 中的，可以看看源码还是比较有用的 项目结构 项目主要是创建一个uuid 的函数 项目结构 ├── pom.xml ├── src │ ├ ...
分类：
其他好文 时间：
2021-02-15 12:43:24
阅读次数：
0
第十一天的学习 顺序结构 选择结构 很多时候需要去判断一个东西是否可行，然后我们才会去执行，这样的一个过程，在程序中要用 if语句 来表示。 if单选择结构 语法 布尔表达式就是xxx=true或xxx=false。 示例 如果不输入Hello，结果如下： 如果输入Hello，结果如下： 由此可得， ...
分类：
其他好文 时间：
2021-02-15 12:23:26
阅读次数：
0
dremio 是基于java 开发的，项目使用了maven进行包管理，以下是一个简单的源码构建 依赖 java8， maven （至少3.3.9） 构建 构建比较慢，需要等待 构建 git clone https://github.com/dremio/dremio-oss.git dremio c ...
分类：
其他好文 时间：
2021-02-15 12:12:31
阅读次数：
0
案例源码 1 <!DOCTYPE html> 2 <html lang="en"> 3 <head> 4 <meta charset="UTF-8"> 5 <meta http-equiv="X-UA-Compatible" content="IE=edge"> 6 <meta name="view ...
分类：
其他好文 时间：
2021-02-15 12:06:54
阅读次数：
0
javadoc命令是用来生成自己API文档的 API（Application Programming Interface,应用程序编程接口）是一些预先定义的函数，目bai的是提供应用程序与开发人员基于某软件或硬件得以访问一组例程的能力，而又无需访问源码，或理解内部工作机制的细节。 ◆参数信息 ◆@ ...
分类：
编程语言 时间：
2021-02-15 12:01:32
阅读次数：
0
源码 /** * Make all properties in T optional */ type Partial<T> = { [P in keyof T]?: T[P]; }; /** * Make all properties in T readonly */ type Readonly<T ...
分类：
其他好文 时间：
2021-02-10 12:59:56
阅读次数：
0
【引子】 项目从自研(造轮子)的测试框架切到nosetests, 起初的感觉只是解决了自制轮子基类全局变量管理和状态切换问题. 直到被fixture的抽象惊艳到了. 自制的轮子是假设所有用例之间独立, 用例内部负责测试场景构造,测试点,战场打扫和异常处理,如下. 1 class TestCase(o ...
分类：
其他好文 时间：
2021-02-10 12:58:27
阅读次数：
0
