初始Hadoop hadoop概述 查看官网，了解hadoop是一个开源的可靠的可扩展的分布式框架，它有很多的组件，比如Common,HDFS YARN,MapReduce. 1. Common：支持其他Hadoop模块的常用实用程序 2. HDFS：是一个分布式文件系统，提供对应用程序数据的高吞吐 ...
分类：
其他好文 时间：
2018-09-16 15:43:36
阅读次数：
221
1.介绍 首先，我们来看看Hadoop的计算框架特性，在此特性下会衍生哪些问题？ 面对这些问题，我们能有哪些有效的优化手段呢？下面列出一些在工作有效可行的优化手段： 而接下来，我们心中应该会有一些疑问，影响性能的根源是什么？ 2.性能低下的根源 hive性能优化时，把HiveQL当做M/R程序来读， ...
分类：
其他好文 时间：
2018-09-11 14:15:38
阅读次数：
197
参考与评述 参考书目《Deep Learning》Lan Goodfellow. 经典的深度学习框架是以计算图&梯度下降方法实现对前馈网络的有监督学习。 这里复现了前馈计算图的梯度计算实现。 一、前馈计算图实现 1. 前向与梯度计算 结果数组 （保存输入节点与计算节点的输出值，能够反映节点在计算方向 ...
分类：
其他好文 时间：
2018-09-08 19:58:54
阅读次数：
204
1. HADOOP背景介绍 1.1 什么是HADOOP Hadoop hive hbase flume kafka sqoop spark flink ……. 1.2 HADOOP产生背景 ——分布式文件系统（GFS），可用于处理海量网页的存储 ——分布式计算框架MAPREDUCE，可用于处理海量网 ...
分类：
其他好文 时间：
2018-09-05 11:39:05
阅读次数：
195
一. spark 概述 1.是什么: ? Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。2012年,它是由加州伯克利大学AMP实 验室开源的类 Hadoop MapReduce 的通用并行计算框架，Spark 拥有Hadoop MapReduce 所具有的优点；但不 同于 ...
分类：
其他好文 时间：
2018-08-30 11:11:38
阅读次数：
198
你肯定听过Hadoop，对就是那头奔跑的小象。 Hadoop作为大数据时代代表性的解决方案被大家所熟知，它主要包含两部分内容： HDFS分布式文件存储 MapReduce分a布式计算框架 前面我们分析存储方案的发展的时候有提到分布式文件存储的出现是为了解决存储的三大问题：可扩展性，高吞吐量，高可靠性 ...
分类：
其他好文 时间：
2018-08-23 02:14:30
阅读次数：
159
做大数据分析研究的常用软件工具与其应用场景 实际进行大数据研究过程中，需要根据实际情况灵活选择最合适的工具(甚至多种工具组合使用)，才能更好的完成研究探索。 如今，大数据日益成为研究行业的重要研究目标。面对其高数据量、多维度与异构化的特点，以及分析方法思路的扩展，传统统计工具已经难以应对。 工欲善其 ...
分类：
其他好文 时间：
2018-08-22 12:00:42
阅读次数：
194
1、请简要介绍一下Hadoop、Spark、MPI三种计算框架的特点以及分别适用什么样的场景？ Hadoop：基于分布式文件系统HDFS的分布式批处理计算框架，适用于数据量大、SPMD（单程序多数据）的应用 Spark：基于内存计算的并行计算框架，适用于需要迭代多轮计算的应用 MPI：基于消息传递的 ...
分类：
其他好文 时间：
2018-08-21 21:10:07
阅读次数：
194
Hadoop发展到今天家族产品已经非常丰富，能够满足不同场景的大数据处理需求。作为目前主流的大数据处理技术，市场上很多公司的大数据业务都是基于Hadoop开展，而且对很多场景已经具有非常成熟的解决方案。 作为开发人员掌握Hadoop及其生态内框架的开发技术，就是进入大数据领域的必经之路。 下面详细介 ...
分类：
其他好文 时间：
2018-08-18 13:20:23
阅读次数：
161
概述ApacheMesos是一款基于多资源（内存、磁盘、CPU、端口等）调度的开源集群管理套件，能使容错和分布式系统更加容易。工作原理ApacheMesos采用了Master/Slave结构来简化设计，将Master做得尽可能轻量级，仅保存了各种计算框架（Framework）和MesosSlave的状态信息，这些状态很容易在Mesos出现故障的时候被重构，除此之外Mesos还可以使用Zookeep
分类：
Web程序 时间：
2018-08-17 16:35:07
阅读次数：
229
