SPARK J大数据的处理怎么能变快一点,答案是请用spark,因为它是基于内存的,可以有效减少数据的落地次数。Spark性能超过Hadoop百倍,从多迭代批量处理出发,兼收并蓄数据仓库、流处理和图计算等多种计算范式,是罕见的全能选手。 Spark采用一个统一的技术堆栈解决了云计算大数据的如流处理、 ...
分类:
其他好文 时间:
2019-01-24 15:36:44
阅读次数:
134
第1章 实例和故事决定电商11大促成败的各个关键因素。第2章 什么影响了MySQL性能详细介绍影响性能各个因素,包括硬件、操作系统等等。第3章 MySQL基准测试了解基准测试,MySQL基准测试工具介绍及实例演示。第4章 MySQL数据库结构优化详细介绍数据库结构设计、范式和反范式设计、物理设计等等 ...
分类:
数据库 时间:
2019-01-23 00:19:48
阅读次数:
323
数据库设计方面优化 1、数据库设计符合第三范式,为了查询方便可以有一定的数据冗余。2、选择数据类型优先级 int > date,time > enum,char>varchar > blob,选择数据类型时,可以考虑替换,如ip地址可以用ip2long()函数转换为unsign int型来进行存储。 ...
分类:
数据库 时间:
2019-01-22 22:51:44
阅读次数:
277
1. 三大编程范式 面向过程 函数式编程 面向对象设计 2. 编程进化论 最开始无组织无结构,从简单控制流中按步骤写指令 从上述指令中提取重复的代码看或逻辑,组织到一起(定义了一个函数),实现代码重用,由无结构走向了结构化,变得更具逻辑性。 定义函数是独立函数外定义变量,然后作为参数传递给函数,意味 ...
分类:
其他好文 时间:
2019-01-21 23:20:25
阅读次数:
188
数据库建模六大过程 1.需求分析:分析客户需求的业务和数据处理 2.概要设计:建立简要的E -R模型图 三大要素:实体,属性,关系 e-r图中矩形表示实体,椭圆表示属性,菱形表示关系 关系: 一对一,x中的一个实体最多与y中的一个实体关联,并且y中的一个实体最多与x中的一个实体关联; 一对多,x中的 ...
分类:
数据库 时间:
2019-01-19 18:46:32
阅读次数:
220
## 数据库的设计 1. 多表之间的关系 1.分类 1.一对一 * 如:人和省份证 * 分析:一个人只有一个省份证,一个身份证只能对应一个人 2.一对多(多对一) * 如 :部门和员工 * 分析:一个部门有多个员工,一个员工只能对应一个部门 3. 多对多 * 如:学生和课程 *分析:一个学生可以选择 ...
分类:
数据库 时间:
2019-01-18 19:56:45
阅读次数:
226
响应式编程是一种面向数据流和变化传播的编程范式; 响应式编程和函数式编程的融合; 响应式编程为内核;函数式编程为工具; 流的概念先天适合函数式编程。 Some quotes from the article: Reactive programming is programming with asyn ...
分类:
其他好文 时间:
2019-01-15 19:34:57
阅读次数:
218
实验目标 搭建一个Hadoop系统,包含分布式文件系统HDFS、分布式计算框架MapReduce。 实验原理 Hadoop框架透明地为应用提供可靠性和数据移动。它实现了名为MapReduce的编程范式:应用程序被分割成许多小部分,而每个部分都能在集群中的任意节点上运行或重新运行。此外,Hadoop还 ...
分类:
其他好文 时间:
2019-01-12 10:31:40
阅读次数:
211
https://mp.weixin.qq.com/s/j8mt_qvwliKIKtlN6JcyqQ 介绍Intellij IDEA安装Scala插件后,如何在阅读和编码两方面助益开发者。 1. 语言专家 Scala是一门多范式编程语言,在支持面向对象编程的同时,也支持函数式语法。再加上隐式规则和宏等 ...
分类:
编程语言 时间:
2019-01-12 00:18:50
阅读次数:
433
为了建立冗余较小、结构合理的数据库,设计数据库时必须遵循一定的规则。在关系型数据库中这种规则就称为范式。范式是符合某一种设计要求的总结。要想设计一个结构合理的关系型数据库,必须满足一定的范式。 在实际开发中最为常见的设计范式有三个: 1.第一范式(确保每列保持原子性) 第一范式是最基本的范式。如果数 ...
分类:
数据库 时间:
2019-01-11 22:15:24
阅读次数:
223