概念 实时流式计算: 大数据环境下,流式数据将作为一种新型的数据类型,这种数据具有连续性、无限性和瞬时性。是实时数据处理所面向的数据类型,对这种流式数据的实时计算就是实时流式计算。 特征 实时流式计算与传统的数据处理技术不同,其具有一下特点: 低延迟:从处理的数据角度来看,每一条数据都可以在有限的时 ...
分类:
其他好文 时间:
2018-04-23 22:38:43
阅读次数:
168
查看各个编码 //查看字段编码 SHOW FULL COLUMNS from park_car_user; //查看数据库字段SHOW CREATE DATABASE db_name; //查看表的编码SHOW CREATE TABLE tbl_name; 修改数据库编码 修改表的编码 修改字段编码 ...
分类:
数据库 时间:
2018-04-16 18:32:55
阅读次数:
173
ReentrantLock在进行实例化时,可以通过构造函数的参数选择是否使用公平锁FairSync或者非公平锁NonfairSync,两者的区别比较简单,如果是公平锁则新来的线程会先检测同步队列中是否有等待的线程,如果有,则追加到同步队列尾,锁竞争过程强调的是有序进行,当然代价比较明显,线程切换会造 ...
分类:
其他好文 时间:
2018-04-13 17:49:24
阅读次数:
202
参考网址: "How to store custom objects in Dataset?" ...
分类:
其他好文 时间:
2018-03-31 23:57:55
阅读次数:
303
函数式编程关心数据的映射,命令式编程关心解决问题的步骤 我想稍微改一下,使其更数学化一点。 函数式编程关心类型(代数结构)之间的关系,命令式编程关心解决问题的步骤 函数式编程中的lambda可以看成是两个类型之间的关系,一个输入类型和一个输出类型。lambda演算就是给lambda表达式一个输入类型 ...
分类:
其他好文 时间:
2018-03-26 12:40:59
阅读次数:
161
$ cd /usr/local/ $ tar -zxvf zookeeper-3.4.5.tar.gz $ mv zookeeper-3.4.5 zk $ cd $ vi .bashrc $ source .bashrc $ cd /usr/local/zk/conf/ $ mv zoo_sampl ...
分类:
其他好文 时间:
2018-03-19 00:31:30
阅读次数:
196
1.spark的算子分为转换算子和Action算子,Action算子将形成一个job,转换算子RDD转换成另一个RDD,或者将文件系统的数据转换成一个RDD 2.Spark的算子介绍地址:http://spark.apache.org/docs/2.3.0/rdd-programming-guide ...
分类:
其他好文 时间:
2018-03-14 23:43:18
阅读次数:
191
常用到的: list all non-stdlib packages : show all : 删除go get 安装的包(未测): ...
分类:
其他好文 时间:
2018-03-08 14:01:18
阅读次数:
272
一、前述 SparkStreaming中的算子分为两类,一类是Transformation类算子,一类是OutPutOperator类算子。 Transformation类算子updateStateByKey,reduceByKeyAndWindow,transform OutPutOperator ...
分类:
其他好文 时间:
2018-03-07 13:20:36
阅读次数:
186
昨天是一个让人悲哀的日子。旧金山湾区主要的上下班交通工具Caltrain,在24小时之内发生三次事故,撞死三人。其中一次事故发生在Menlo Park,一辆汽车被困在铁轨上,因为被前后的车辆堵塞而无法逃避,终于被飞驰而来的列车撞成一堆废铁。开车人被消防队员从残骸里切割出来,送往医院后不久死亡。(新闻 ...
分类:
其他好文 时间:
2018-03-03 14:12:29
阅读次数:
171