1、 Spark运行架构 1.1 术语定义 lApplication：Spark Application的概念和Hadoop MapReduce中的类似，指的是用户编写的Spark应用程序，包含了一个Driver 功能的代码和分布在集群中多个节点上运行的Executor代码； lDriver：Spa ...
分类：
其他好文 时间：
2017-09-13 20:15:09
阅读次数：
187
本文主要介绍四个问题： 什么是Spark Streaming实时计算？ Spark实时计算原理流程是什么？ Spark 2.X下一代实时计算框架Structured Streaming Spark Streaming相对其他实时计算框架该如何技术选型？ 本文主要针对初学者，如果有不明白的概念可了解之 ...
分类：
其他好文 时间：
2017-09-12 16:01:23
阅读次数：
226
目录 1 使用sklearn进行数据挖掘 1.1 数据挖掘的步骤 1.2 数据初貌 1.3 关键技术2 并行处理 2.1 整体并行处理 2.2 部分并行处理3 流水线处理4 自动化调参5 持久化6 回顾7 总结8 参考资料 1 使用sklearn进行数据挖掘 1.1 数据挖掘的步骤 数据挖掘通常包括 ...
分类：
其他好文 时间：
2017-09-11 19:56:17
阅读次数：
265
最近工作中用到了des解密，之前没接触过，花了点时间去研究了一下，des算是比较基础的加密方式了，这边主要讲的是ECB模式，ECB模式作为一种基本工作模式，具有操作简单，易于实现的特点。同时由于其分组的独立性，利于实现并行处理，并且能很好地防止误差传播。个人觉得ECB比较适用于密钥保护。代码如下： ...
分类：
其他好文 时间：
2017-09-08 13:33:24
阅读次数：
327
Master-Worker模式是常用的并行模式之一，它的核心思想是，系统有两个进程协作工作：Master进程，负责接收和分配任务；Worker进程，负责处理子任务。当Worker进程将子任务处理完成后，结果返回给Master进程，由Master进程做归纳汇总，最后得到最终的结果。 一、什么是Mast ...
分类：
编程语言 时间：
2017-09-07 17:09:28
阅读次数：
191
线程是操作系统分配处理器时间的基本单元，并且进程中可以有多个线程同时执行代码。 每个线程都维护异常处理程序、调度优先级和一组系统用于在调度该线程前保存线程上下文的结构。 线程上下文包括为使线程在线程的宿主进程地址空间中无缝地继续执行所需的所有信息，包括线程的 CPU 寄存器组和堆栈。 .NET Fr... ...
分类：
Web程序 时间：
2017-08-18 11:12:20
阅读次数：
170
架构分析 Greenplum的高性能得益于其良好的体系结构。Greenplum的架构采用了MPP(大规模并行处理)。在 MPP 系统中，每个 SMP 节点也可以运行自己的操作系统、数据库等。换言之，每个节点内的 CPU 不能访问另一个节点的内存。节点之间的信息交互是通过节点互联网络实现的，这个过程一 ...
分类：
其他好文 时间：
2017-08-13 01:14:13
阅读次数：
272
简介： Apache Drill是一个低延迟的分布式海量数据（涵盖结构化、半结构化以及嵌套数据）交互式查询引擎。分布式、无模式(schema-free) 是Google Dremel的开源实现，本质是一个分布式的mpp（大规模并行处理）查询层，支持SQL及一些用于NoSQL和Hadoop数据存储系统 ...
分类：
其他好文 时间：
2017-08-10 01:20:11
阅读次数：
226
从系统架构来看，目前的商用服务器大体可以分为三类，即对称多处理器结构 (SMP ： Symmetric Multi-Processor) ，非一致存储访问结构 (NUMA ： Non-Uniform Memory Access) ，以及海量并行处理结构 (MPP ： Massive Parallel ...
分类：
其他好文 时间：
2017-08-05 22:54:12
阅读次数：
267
1. MapReduce 定义 Hadoop 中的 MapReduce是一个使用简单的软件框架，基于它写出来的应用程序能够运行在由上千个商用机器组成的大型集群上，并以一种可靠容错式并行处理TB级别的数据集 2. MapReduce 特点 MapReduce 为什么如此受欢迎？尤其现在互联网+时代，互 ...
分类：
其他好文 时间：
2017-08-05 18:50:59
阅读次数：
136
