唯品会HDFS性能挑战和优化实践 原创： 大数据平台 唯技术 4月1日 https://mp.weixin.qq.com/s/LMa99ubgACI4eaDV3G-6gw ...
分类：
其他好文 时间：
2019-05-28 23:56:43
阅读次数：
219
0.0 前言 本文主要基于最新的Spark 2.1.0版本。阅读本文可以对Spark 2.1.0的学习过程，运行流程，关键组件，原理有所了解。文章有点长，你也可以直接阅读感兴趣的部分，但是还是建议全面了解。 1.0 简介 Spark是Apache软件基金会下的分布式系统开源项目。在官网中这样概况这个 ...
分类：
其他好文 时间：
2019-05-20 13:20:44
阅读次数：
116
1.监控端口数据： flume启动： 参数说明： --conf conf/ ：表示配置文件存储在conf/目录 --name a1 ：表示给agent起名为a1 --conf-file job/flume-telnet.conf ：flume本次启动读取的配置文件是在job文件夹下的flume-te ...
分类：
Web程序 时间：
2019-05-18 09:34:03
阅读次数：
214
Spark 2.1.1 源码编译 标签（空格分隔）： Spark Spark 源码编译 环境准备与起因 由于线上Spark On Yarn Spark Streaming程序在消费kafka 写入HDFS table 使用Partition by 和 Savemode.append,在一定条件下导致 ...
分类：
其他好文 时间：
2019-05-18 00:45:07
阅读次数：
191
一.Hadoop2.x产生背景 1.Hadoop1.x中的HDFS和MapReduce在高可用、扩展性等方面存在问题。 2.HDFS存在的问题 1.NameNode单点故障，难以应用于在线场景。 2.NameNode压力过大，且内存受限，影响扩展性。 3.MapReduce存在的问题 1.JobTr ...
分类：
其他好文 时间：
2019-05-14 18:57:19
阅读次数：
196
配置 Hive On Tez 标签（空格分隔）： hive Tez 部署底层应用 简单介绍 介绍：tez 是基于hive 之上，可以将sql翻译解析成DAG计算的引擎。基于DAG 与mr 架构本身的优缺点，tez 本身经过测试一般小任务在hive mr 的2 3倍速度左右，大任务7 10倍左右，根据 ...
分类：
其他好文 时间：
2019-05-13 22:59:00
阅读次数：
158
分布式文件系统(HDFS）与linux系统文件系统关系 HDFS基于操作系统的文件系统； 假设有一个1G的大文件，在linux文件系统上就是一个文件，由1G/512b的block组成；在HDFS上需要1024MB/64MB=16块，即16个linux文件组成，所以相当于一个普通1G的文件分成了16个 ...
分类：
其他好文 时间：
2019-04-28 12:31:33
阅读次数：
117
In the previous post Kafka connect in practice(1): standalone, I have introduced about the basics of kafka connect configuration and demonstrate a loc ...
分类：
数据库 时间：
2019-04-24 19:40:25
阅读次数：
197
blockManagerDriver和executor上分别都会启动blockManager，其中driver上拥有所有executor上的blockManager的引用；所有executor上的blockManager都持有driver上的blockManager的引用；blockManagerSlave会不断向blockManagerMaster发送心跳，更新block信息等；BlockMan
分类：
系统相关 时间：
2019-04-23 21:07:06
阅读次数：
234
J 为了满足日益增长的业务变化，京东的京麦团队在京东大数据平台的基础上，采用了hadoop等热门的开源大数据计算引擎，打造了一款为京东运营和产品提供决策性的数据类产品-北斗平台。 一、Hadoop的应用业务分析 大数据是不能用传统的计算技术处理的大型数据集的集合。它不是一个单一的技术或工具，而是涉及 ...
分类：
其他好文 时间：
2019-04-23 15:43:25
阅读次数：
177
