SSD和内存数据库技术 自己的理解还是不是很对 SSD 提升的是 随机读 并没有对顺序写有多大的提升, 因为数据库采用的是redo的模式. 理论上写入 时是顺序写 所以 写并发的提升不会很大 但是会很大的提升读取的速度. 2016-04-26 10:57:47 dingdingfish 阅读数 76 ...
分类：
数据库 时间：
2019-11-30 09:47:37
阅读次数：
97
Spark Streaming应用也是Spark应用，Spark Streaming生成的DStream最终也是会转化成RDD，然后进行RDD的计算，所以Spark Streaming最终的计算是RDD的计算，那么Spark Streaming的原理当然也包含了Spark应用通用的原理。Spark ...
分类：
其他好文 时间：
2019-11-29 18:27:58
阅读次数：
85
怎样提高Spark Streaming的性能 1、创建多个接收器 待定：： 2、调节每一个batch interval的数据块的数量，其实就是调整上面第二个问题中提到的配置spark.streaming.blockInterva 待定：： 3、调整Recevier每秒接收数据的速率 待定：： 4、通 ...
分类：
其他好文 时间：
2019-11-29 18:14:33
阅读次数：
86
公司的老员工很喜欢一种他们称之为“解耦”的做法： 先这么进行系统分析：把系统运行拆解为若干个环节，先执行A，再执行B，形成一个一个的步骤。 然后进行“解耦”：把每个环节变成一个服务，环节之间用 MQ 连接。环节衔接的输入输出数据形成协议规范。 “解耦”之后得到的好处是： 环节用MQ串联，当服务死掉后 ...
分类：
其他好文 时间：
2019-11-28 13:33:23
阅读次数：
81
01-大数据快速入门基础02-Scala学习进击大数据Spark生态圏03-Spark从入门到项目实战大师课04-大数据系统学习全套视频教程(视频.源码.课件)05-大数据系统学习项目实战就业班课程06-大数据之Spark零基础到实战07-大数据项目实战视频hadoop spark实时计算项目实战教 ...
分类：
其他好文 时间：
2019-11-27 23:18:45
阅读次数：
126
Spark的官方文档再三强调那些将要作用到RDD上的操作，不管它们是一个函数还是一段代码片段，它们都是“闭包”，Spark会把这个闭包分发到各个worker节点上去执行，这里涉及到了一个容易被忽视的问题：闭包的“序列化”。 显然，闭包是有状态的，这主要是指它牵涉到的那些自由变量以及自由变量依赖到的其 ...
分类：
其他好文 时间：
2019-11-27 23:17:08
阅读次数：
105
基本概念： Spark作为新一代大数据计算引擎，因为内存计算的特性，具有比hadoop更快的计算速度。是一个分布式计算框架，旨在简化运行于计算机集群上的并行程序的编写。RDD：是spark核心数据处理模型，弹性分布式数据集(Resilient Distributed Dataset)是分布式内存的一 ...
分类：
其他好文 时间：
2019-11-26 16:12:00
阅读次数：
95
图片的复制无非有两种方法，一种是图片直接上传到服务器，另外一种转换成二进制流的base64码 目前限chrome浏览器使用，但是项目要求需要支持所有的浏览器，包括Windows和macOS系统。没有办法在网上搜了很多资料终于找到一个产品：WordPaster。 浏览器方面能够支持ie6,ie7,ie ...
分类：
其他好文 时间：
2019-11-26 13:10:32
阅读次数：
112
本文从实践出发，介绍如何在windows环境下搭建scala环境，让你可以使用Spark语言继续自己的大数据之旅，增添一点乐趣。同时指出大部分朋友在初次运行spark-shell会遇到的报错：ERROR Shell： Failed to locate the winutils binary in t... ...
Hadoop [翻译大象] 广义: 以apache hadoop软件为主的生态圈(hive sqoop spark flink....)狭义: apache hadoop软件 以后这些网站经常用到hadoop.apache.orghive.apache.orgspark.apache.org had ...
分类：
其他好文 时间：
2019-11-25 15:21:18
阅读次数：
134
