大数据平台是为了满足企业对于数据的各种要求而产生的。大数据平台：是指以处理海量数据存储、计算及不间断流数据实时计算等场景为主的一套基础设施。典型的包括Hadoop系列、Spark、Storm、Flink以及Flume/Kafka等集群。既可以采用开源平台，也可以采用华为、星环等商业级解决方案，既可以部署在私有云上，也可以部署在公有云上。大数据平台的功能：1、容纳海量数据利用计算机群集的存储和计算能
分类：
其他好文 时间：
2019-08-08 16:04:32
阅读次数：
108
本步骤调用 trx_sys_create_sys_pages->trx_sysf_create进行，本步骤除了初始化transaction system segment以外还会初始化其header( ibdata page no 5)信息如下： /* Create the trx sys file ...
分类：
其他好文 时间：
2019-08-06 20:12:46
阅读次数：
125
sys_header = trx_sysf_get(mtr); //获取 5号 block指针 跳过 FIL_PAGE_DATA 38U trx_sysf_rseg_set_space(sys_header, rseg_slot_no, space, mtr); //设置space trx_sysf ...
分类：
其他好文 时间：
2019-08-06 20:02:25
阅读次数：
116
1. Phoenix Phoenix是HBase的开源SQL皮肤。可以使用标准JDBC API代替HBase客户端API来创建表，插入数据和查询HBase数据。 特点 1) 容易集成：如Spark，Hive，Pig，Flume和Map Reduce。 2) 性能好：直接使用HBase API以及协处 ...
分类：
其他好文 时间：
2019-08-06 13:54:25
阅读次数：
231
problem:https://leetcode.com/problems/best-time-to-buy-and-sell-stock-with-transaction-fee/ 维护两个状态，一个是当前持有股票状态，一个是当前不持有股票状态，两者分别计算最大值。 在第i天，如果当天不持有股票， ...
分类：
其他好文 时间：
2019-08-04 19:36:31
阅读次数：
89
一、占有率分析 1. 平均事务响应时间 Average Transaction Response Time 优秀:<2s 良好:2-5s 及格:6-10s 不及格:>10s 2. 每秒点击率 Hits per Second 当增大系统的压力(或增加并发用户数)时，吞吐率和TPS的变化曲线呈大体一致， ...
分类：
其他好文 时间：
2019-08-02 12:55:29
阅读次数：
158
OLTP与OLAP的介绍 数据处理大致可以分成两大类：联机事务处理OLTP（on-line transaction processing）、联机分析处理OLAP（On-Line Analytical Processing）。OLTP是传统的关系型数据库的主要应用，主要是基本的、日常的事务处理，例如银 ...
分类：
其他好文 时间：
2019-07-30 21:47:54
阅读次数：
110
Flume Kafka 测试案例，Flume 的配置。 1. 启动 kafka。 2. 创建 kafka topic，flume配置中的 topic 为 t1。 3. 启动 flume。 4. 启动 kafka 的消费者，来观察看是否成功。 5. 由于 flume 配置文件中监控的命令是 netca ...
分类：
Web程序 时间：
2019-07-28 20:18:07
阅读次数：
144
Spark-Streaming DirectKafka count 统计跟直接 kafka 统计类似，只不过这里使用的是 Direct 的方式，Direct方式使用的 kafka 低级API，不同的地方主要是在 createDirectStream这里。 统计代码如下 启动相关的 flume，kaf ...
分类：
其他好文 时间：
2019-07-28 19:56:51
阅读次数：
109
Streaming 统计来自 kafka 的数据，这里涉及到的比较，kafka 的数据是使用从 flume 获取到的，这里相当于一个小的案例。 1. 启动 kafka 2. 启动 flume flume 配置文件如下 这里 flume 是的数据是来自一个文件，只要这个文件有数据进入，就会被flume ...
分类：
其他好文 时间：
2019-07-28 19:55:02
阅读次数：
110
