1、表的设计 Pre-creating Regions（预分区） 默认情况下，在创建Hbase表的时候会自动创建一个region分区，当导入数据的时候，所有的Hbase客户端都向这一个region写数据，直到这个region足够大了才进行切分。一种可以加快批量写入速度的方法是通过预先创建一些空的re ...
分类：
其他好文 时间：
2019-09-15 01:29:49
阅读次数：
118
Map阶段流程:input File通过split被逻辑切分为多个split文件，通过Record按行读取内容给map（用户自己实现的）进行处理，数据被map处理结束之后交给OutputCollector收集器，对其结果key进行分区（默认使用hash分区），然后写入buffer，每个map tas ...
分类：
其他好文 时间：
2019-09-14 21:00:53
阅读次数：
99
海量数据搜索---demo展示百度、谷歌搜索引擎的实现然后我们根据这个字典树来对这段话进行词语切分。IK分词器中，基本可以分为两种模式：一种是smart模式、一种是非smart模式，可以在代码中初始化的时候去配置。
分类：
其他好文 时间：
2019-09-11 11:57:13
阅读次数：
88
Structured Streaming曲折发展史 1.1. Spark Streaming 在2.0之前，Spark Streaming作为核心API的扩展，针对实时数据流，提供了一套可扩展、高吞吐、可容错的流式计算模型。Spark Streaming会接收实时数据源的数据，并切分成很多小的bat ...
分类：
其他好文 时间：
2019-09-11 10:00:22
阅读次数：
114
正则表达式的使用方法主要有4种： re.search(进行正则匹配)， re.match(从头开始匹配) re.findall(找出所有符合条件的字符列表) re.split(根据条件进行切分) re.sub(根据条件进行替换) 匹配规则里的符号 # . 可以被当作任意字符, re.M 忽略开头的换 ...
分类：
编程语言 时间：
2019-09-06 16:14:20
阅读次数：
104
如何进行内存管理 为了让每个进程认为 独占 地使用内存，并且让每个进程看到的内存是 一致 的，操作系统对物理内存、磁盘进行了 抽象 ，抽象出 虚拟内存 。并且把虚拟内存、物理内存以相同固定大小的 页 进行切分管理（ 分页 ），虚拟内存中叫页，物理内存中的叫页帧。 每个进程虚拟地址空间是独立的。用户访 ...
分类：
其他好文 时间：
2019-09-04 10:25:49
阅读次数：
125
一、数据挖掘 中文分词 ? 一段文字不仅仅在于字面上是什么，还在于怎么切分和理解。? 例如： – 阿三炒饭店： – 阿三 / 炒饭 / 店 阿三 / 炒 / 饭店? 和英文不同，中文词之间没有空格，所以实现中文搜索引擎，比英文多了一项分词的任务。? 如果没有中文分词会出现： – 搜索“达内”，会出现 ...
分类：
其他好文 时间：
2019-09-04 09:35:50
阅读次数：
108
一、HDFS 的设计思路 1）思路 切分数据，并进行多副本存储； 2）如果文件只以多副本进行存储，而不进行切分，会有什么问题 缺点 缺点 二、HDFS 的设计目标 Hadoop Distributed File System（HDFS）：源于Google 的 GFS 论文； 设计目标 设计目标 三、 ...
分类：
其他好文 时间：
2019-09-02 10:05:10
阅读次数：
294
到目前为止，你学到的都是顺序编程，顺序编程的概念就是某一时刻只有一个任务在执行，顺序编程固然能够解决很多问题，但是对于某种任务，如果能够并发的执行程序中重要的部分就显得尤为重要，同时也可以极大提高程序运行效率，享受并发为你带来的便利。但是，熟练掌握并发编程理论和技术，对于只会CRUD的你来说是一种和 ...
分类：
其他好文 时间：
2019-09-01 01:21:28
阅读次数：
67
