hadoop是一堆开源软件的集合,下面把这些开源软件做个简单介绍ApacheHadoop:是Apache开源组织的一个分布式计算开源框架,是提供了一个分布式文件系统(HDFS)和支持MapReduce分布式计算的软件架构。ApacheHive:是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapR
分类:
其他好文 时间:
2018-05-14 15:42:46
阅读次数:
165
Java作为众多的程序设计语言中的一种,为什么它如此重要? 在阅读《Java编程思想》的过程中,发现作者在介绍某一个知识点的时候,总是将Java与c、c++等其他编程语言进行比较,突出Java的优点或进步,故写此篇博客进行总结。 写在前面 Java不仅是一种功能强大的、安全的、跨平台的、国际化的编程 ...
分类:
编程语言 时间:
2018-05-14 13:48:21
阅读次数:
230
1. Flink的引入 这几年大数据的飞速发展,出现了很多热门的开源社区,其中著名的有 Hadoop、Storm,以及后来的 Spark,他们都有着各自专注的应用场景。Spark 掀开了内存计算的先河,也以内存为赌注,赢得了内存计算的飞速发展。Spark 的火热或多或少的掩盖了其他分布式计算的系统身 ...
分类:
其他好文 时间:
2018-05-10 17:26:05
阅读次数:
5370
ApacheHadoop是一个由Apache基金会所开发的分布式系统基础架构。可以让用户在不了解分布式底层细节的情况下,开发出可靠、可扩展的分布式计算应用。ApacheHadoop框架,允许用户使用简单的编程模型来实现计算机集群的大型数据集的分布式处理。它的目的是支持从单一服务器到上千台机器的扩展,充分利用了每台机器所提供本地计算和存储,而不是依靠硬件来提供高可用性。其本身被设计成在应用层检测和处
分类:
Web程序 时间:
2018-05-10 15:33:42
阅读次数:
176
FROM https://36kr.com/p/5097526.html 编者按:本文来自微信公众号"InfoQ"(ID: infoqchina),作者:周明耀,浙江大学工学硕士,13 年软件研发经验,近 10 年技术团队管理经验,4 年分布式计算、大数据技术经验,出版书籍包括《大话 Java 性能 ...
分类:
其他好文 时间:
2018-05-07 13:26:56
阅读次数:
194
目录:.1.Hadoop家族产品2.Hadoop家族学习路线图Hadoop家族产品截止到2013年,根据cloudera的统计,Hadoop家族产品已经达到20个!接下来,我把这20个产品,分成了2类。?第一类,是我已经掌握的?第二类,是TODO准备继续学习的一句话产品介绍:?Apache?Hadoop:是Apache开源组织的一个分布式计算开源框架,提供了一个分布式文件系统子项目(HDFS)和支
分类:
其他好文 时间:
2018-05-06 17:04:27
阅读次数:
128
目录:.1.Hadoop家族产品2.Hadoop家族学习路线图Hadoop家族产品截止到2013年,根据cloudera的统计,Hadoop家族产品已经达到20个!接下来,我把这20个产品,分成了2类。?第一类,是我已经掌握的?第二类,是TODO准备继续学习的一句话产品介绍:?Apache?Hadoop:是Apache开源组织的一个分布式计算开源框架,提供了一个分布式文件系统子项目(HDFS)和支
分类:
其他好文 时间:
2018-05-06 17:03:49
阅读次数:
230
Java程序员高级特性 反射、泛型、注释符、自动装箱和拆箱、枚举类、可变 参数、可变返回类型、增强循环、静态导入 核心编程 IO、多线程、实体类、 集合类、正则表达式、 XML和属性文件 图形编程 AWT(Java2D/JavaSound/JMF)、Swing、SWT、JFace 网路编程 Appl ...
分类:
编程语言 时间:
2018-05-05 14:14:29
阅读次数:
233
一、spark基础架构 spark和Hadoop的基础架构类似,采用了分布式计算中的Master-Slave模型。 Master是对应集群中的含有Master进程的节点,Slave是集群中含有Worker进程的节点。 1、物理节点逻辑 Master:作为整个集群的控制器,负责整个集群的正常运行,负责 ...
分类:
其他好文 时间:
2018-04-30 11:49:58
阅读次数:
249
【MySQL Cluster】 MySQL Cluster 是MySQL 官方集群部署方案, 支持自动分片、读写扩展;通过实时备份冗余数据。适合于分布式计算环境的高实用、高冗余版本,是可用性最高的方案,官方声称可做到99.999%的可用性。MySQL Cluster采用NDB Cluster 存储引 ...
分类:
数据库 时间:
2018-04-28 23:54:33
阅读次数:
318