1.什么是jetty？ 开源HTTP服务器和Servlet引擎，是web应用的容器，同tomcat类似。由于其轻量灵活的特性，很多知名产品也应用了它，如maven、eclipse、hadoop、spark、activeMQ 2.为什么使用jetty？ 异步的Servlet，支持更高的并发量（异步Se ...
分类：
其他好文 时间：
2019-02-01 18:56:05
阅读次数：
194
1.HDFS 修复 问题描述：其他部门在yarn平台上跑spark 程序错误的生成了海量的不到100K的小文件，导致namenode压力过大，其中一个namenode宕机后，没有及时发现 使得edits文件大量积累，在namenode1宕机后，namenode2 随后在凌晨1点也宕机。 原因分析：N ...
分类：
其他好文 时间：
2019-01-18 12:57:14
阅读次数：
229
[TOC] 前言 操作系统win10 安装时间2018年12月 java版本jdk1.8.0_191 hadoop版本hadoop 2.8.5 spark版本spark 2.3.1 bin hadoop2.7 Java安装 方法一 下载 "JDK 8 网址" ,如下图所示: 这时有两种JDK可以选择 ...
分类：
编程语言 时间：
2018-12-31 15:49:39
阅读次数：
360
一、Hadoop的应用业务分析大数据是不能用传统的计算技术处理的大型数据集的集合。它不是一个单一的技术或工具，而是涉及的业务和技术的许多领域。目前主流的三大分布式计算系统分别为:Hadoop、Spark和Strom：Hadoop当前大数据管理标准之一，运用在当前很多商业应用系统。可以轻松地集成结构化、半结构化甚至非结构化数据集。Spark采用了内存计算。从多迭代批处理出发，允许将数据载入内存作反复
分类：
其他好文 时间：
2018-12-30 12:51:29
阅读次数：
204
一.Kylin的概述 官方网址：http://kylin.apache.org/cn/ Apache Kylin?是一个开源的分布式分析引擎，提供Hadoop/Spark之上的SQL查询接口及多维分析（OLAP）能力以支持超大规模数据，最初由eBay Inc. 开发并贡献至开源社区。它能在亚秒内查询 ...
分类：
其他好文 时间：
2018-12-24 02:36:24
阅读次数：
155
Spark2.x企业级大数据项目实战（实时统计、离线分析和实时ETL）全套课程下载：https://pan.baidu.com/s/1mje6bAoLLPrxUIrM-C2VMg提取码:9n1x本门课程来源于一线生产项目，所有代码都是在现网大数据集群上稳定运行，拒绝Demo。课程涵盖了离线分析、实时分析绝大部分的场景，通过三个实际生产项目教授如何优雅地集成Hadoop、Spark、HBase、Ka
分类：
其他好文 时间：
2018-12-18 12:13:36
阅读次数：
370
查看Hadoop版本 启动HDFS 启动YARN 查看4台服务器的进程 启动HDFS和YARN的web管理界面 在HDFS上创建一个文件夹/test/input 查看创建的文件夹 上传到HDFS的/test/input文件夹中 从HDFS钟下载文件，文件下载到~/data文件夹中 ...
分类：
其他好文 时间：
2018-10-30 17:34:49
阅读次数：
373
Apache 首先我们要明白，Apache 是一个 http 服务器，而我们熟悉的另一种说法"Apache Hadoop"中的 Apache 则指的是 Apache 软件基金会。"Apache"是 Apache 软件基金会中的一个项目。 关于其名字，流传最广的解释是（也是最显而易见的）：这个名字来自 ...
分类：
其他好文 时间：
2018-10-17 00:12:47
阅读次数：
155
1、对，我们做大数据的也写普通的 Java 代码，写普通的 SQL。 比如 Java API版的 Spark 程序，长得跟 Java8 的Stream API 一样一样的。 再比如，删除一个 Hive 表。 DROP TABLE pokes; 2、对，Hadoop 、Spark 、Hive 的启动和 ...
分类：
其他好文 时间：
2018-10-04 15:22:52
阅读次数：
175
