1. 功能简介 HDF 是美国国家高级计算应用中心（National Center for Supercomputing Application）为了满足各种领域研究需求而研制的一种能高效存储和分发科学数据的新型数据格式。 NC是NetCDF的简称，其全称为Network Common Data F ...
分类：
其他好文 时间：
2018-12-19 12:55:03
阅读次数：
232
转自：https://blog.csdn.net/xinzhi8/article/details/71455883 操作： 其中一个表较小，但是key集中 group by 维度过小，某值的数量过多 原因： 1)、key分布不均匀 2)、业务数据本身的特性 3)、建表时考虑不周 4)、某些SQL语句 ...
分类：
其他好文 时间：
2018-12-11 01:37:00
阅读次数：
597
HDFS产生背景 HDFS优缺点 HDFS组成架构 HDFS文件块大小 ...
分类：
其他好文 时间：
2018-12-07 21:22:14
阅读次数：
147
Flink视频教程_大数据Flink教程下载课程下载：https://pan.baidu.com/s/1LXm9W30jt4sufJvJakx5Dw提取码：mazb本课程将基于真实的电商分析系统构建，通过Flink实现真正的实时分析，该系统会从无到有一步一步带大家实现，让大家在实操中快速掌握Flink技术。课程所涵盖的知识点包括Flink、Kafka、Flume、Sqoop、SpringMVC、R
分类：
其他好文 时间：
2018-12-07 12:08:21
阅读次数：
324
mapreduce实现思路： Map阶段： a) 从HDFS的源数据文件中逐行读取数据 b) 将每一行数据切分出单词 c) 为每一个单词构造一个键值对(单词，1) d) 将键值对发送给reduce Reduce阶段： a) 接收map阶段输出的单词键值对 b) 将相同单词的键值对汇聚成一组 c) 对 ...
分类：
其他好文 时间：
2018-12-06 20:37:03
阅读次数：
214
一、简介 spark的官网：http://spark.apache.org/ spark解决了什么问题？ 我们都知道hadoop，hadoop以一个非常容易使用的编程模型解决了大数据的两大难题： 1）分布式存储hdfs； 2）分布式计算mapReduce； 但是hadoop也存在着一些问题，最主要的 ...
分类：
其他好文 时间：
2018-12-01 01:15:54
阅读次数：
289
1.为什么要让运行时Jar可以从yarn端访问spark2以后，原有lib目录下的大JAR包被分散成多个小JAR包，原来的spark-assembly-*.jar已经不存在 每一次我们运行的时候，如果没有指定 spark.yarn.archive or spark.yarn.jars Spark将在 ...
分类：
其他好文 时间：
2018-11-30 00:40:47
阅读次数：
311
官方主页： http://www.centos.org/ 官方Wiki： http://wiki.centos.org/ 官方中文文档 ：http://wiki.centos.org/zh/Documentation 安装说明： http://www.centos.org/docs/ 1.环境准备： ...
分类：
其他好文 时间：
2018-11-29 15:02:16
阅读次数：
167
MapReduce客户端程序提交job之后，就会退出，那么如何判断mr程序有没有执行成功呢？1、到yarn的网页上看 8088端口；2、可以让客户端程序不退出，等待mr程序运行完成以后，再退出 具体实现，将客户端程序中 job.submit() 换成 job.waitForCompletion(tr ...
分类：
其他好文 时间：
2018-11-28 22:19:37
阅读次数：
138
hive 关联表和外表的区别： 1. 外部表需要external关键之，location是数据文件默认存放位置，不管是不管是select 还是load的数据都存放在这里。导入数据到外部表，数据并没有mv到数据仓库目录，而是在loacation目录。 2.内部表建表时也能加上location,作用和外 ...
分类：
其他好文 时间：
2018-11-28 15:38:34
阅读次数：
230
