1.简介Hadoop是大数据通用处理平台，提供了分布式文件存储以及分布式离线并行计算，由于Hadoop的高拓展性，在使用Hadoop时通常以集群的方式运行，集群中的节点可达上千个，能够处理PB级的数据。Hadoop各个模块剖析：https://×××w.cnblogs.com/funyoung/p/9889719.html2.Hadoop集群架构图3.Hadoop集群搭建3.1修改配置1.配置SSH
分类：
其他好文 时间：
2018-11-23 18:27:13
阅读次数：
186
利用并行计算机实现软件和硬件上的并行算法的主要步骤和层次 第5层是指应用层，在这一层里描述的是需要并行计算平台实现的应用和问题。对应所需的输入和输出的格式也在这层进行定义。某些输入和输出（I/O）接口的描述还需要考虑数据存储的位置和时间的相关性。这一层的结果会被更低一层采纳以便指导并行算法的开发工作 ...
分类：
编程语言 时间：
2018-11-19 17:36:36
阅读次数：
242
一、Spark是什么Spark是UCBerkeleyAMPlab所开源的类HadoopMapReduce的通用分布式并行计算框架。Spark拥有hadoopMapReduce所具有的优点，但和MapReduce的最大不同之处在于Spark是基于内存的迭代式计算——Spark的Job处理的中间输出结果可以保存在内存中，从而不再需要读写HDFS，除此之外，一个MapReduce在计算过程中只有map和
分类：
其他好文 时间：
2018-11-16 20:51:02
阅读次数：
168
在任何并发性应用程序中，异步事件处理都至关重要。无论事件的来源是什么（不同的计算任务、I/O 操作或与外部系统的交互），您的代码都必须跟踪事件，协调为响应它们而执行的操作。应用程序可以采用两种基本方法之一来实现异步事件处理： 阻塞：一个等待事件的协调线程。 非阻塞：事件向应用程序生成某种形式的通知， ...
分类：
其他好文 时间：
2018-11-06 21:25:42
阅读次数：
197
Bioconductor简介 2012-10-09 ~ ADMIN 源：Bioconductor: open software development for computational biology and bioinformatics，Genome Biology 2004, 5:R80 Bi ...
分类：
其他好文 时间：
2018-10-19 00:11:27
阅读次数：
208
1、介绍 spark SQL是构建在spark core模块上的四大模块之一，提供DataFrame等丰富的API，运行期间通过spark查询优化器翻译成物理执行计划，并行计算输出结果，底层计算原理用RDD计算实现。 2、standalone模式下的spark和hive集成 1、在 /soft/sp ...
分类：
数据库 时间：
2018-10-16 22:01:43
阅读次数：
201
MPI简介 说到并行计算，我们有一个不可绕开的话题——MPI编程。MPI是一个跨语言的通讯协议，用于编写并行计算机。支持点对点和广播。MPI是一个信息传递应用程序接口，包括协议和和语义说明，他们指明其如何在各种实现中发挥其特性。MPI的目标是高性能，大规模性，和可移植性。MPI在今天仍为高性能计算的 ...
分类：
其他好文 时间：
2018-10-10 17:54:08
阅读次数：
282
goroutine//code_037_concurrency_goroutineprojectmain.gopackagemainimport("fmt""time")//并发,concurrency;并行,parallel;而Go从语言层面就支持了并行,而Go语言提供了自动垃圾回收机制。//goroutine说到底其实就是协程,执行goroutine只需极少的栈内存(大概是4~5KB)，当然会
分类：
其他好文 时间：
2018-10-07 20:27:18
阅读次数：
164
第1章 课程介绍欢迎大家来到深度讲解Go语言的课堂。本课程将从基本语法讲起，逐渐深入，帮助同学深度理解Go语言面向接口，函数式编程，错误处理，测试，并行计算等元素，并带领大家实现一个分布式爬虫的实战项目。1-1 课程导读1-2 安装与环境 第2章 基础语法量，常量，类型，选择，循环，函数，指针，本章 ...
分类：
编程语言 时间：
2018-10-04 00:02:44
阅读次数：
342
RNN 简易理解RNN与LSTM 比RNN快136倍！上交大提出SRNN，现在RNN也能做并行计算了 ...
分类：
其他好文 时间：
2018-10-02 17:26:03
阅读次数：
131
