背景 早在2013年1月，ORC(Optimized Row Columnar)出现，作为大规模加速Apache Hive和提高存储在Apache Hadoop中的数据的存储效率的计划的一部分。重点是为了提升处理速度和减小文件占用磁盘大小。 目前有很多公司已经大规模使用ORC了，比如Facebook ...
分类：
其他好文 时间：
2020-05-21 16:21:16
阅读次数：
76
1.Hadoop部署包下载(apache社区版) 1.1下载地址 http://www.apache.org/dyn/closer.cgi/hadoop/common/ 1.2下载注意(稳定版下载) 2.查看部署包内安装手册 2.1解压部署包后，用浏览器打开(hadoop-3.1.3\share\d ...
分类：
其他好文 时间：
2020-05-21 13:13:24
阅读次数：
59
一.Hadoop社区版和发行版 社区版：我们把Apache社区一直开发的Hadoop称为社区版。简单的说就是Apache Hadoophttp://hadoop.apache.org/ 发行版：基于Apache Hadoop的基础上进行商业改造的解决方案，包含一系列定制的管理工具和软件。 二.Had ...
分类：
其他好文 时间：
2020-05-20 18:35:44
阅读次数：
59
1. UDF 2.UDAF 3.UDTF hive是一个计算引擎. mapreduce 慢，吞吐量达. hive有点像一个hadoop的客户端,他不是分布式的. ...
分类：
其他好文 时间：
2020-05-19 10:43:18
阅读次数：
40
承接上一篇文档《Spark案例练习-打包提交》 将spark应用运行在yarn集群上 官网地址：http://spark.apache.org/docs/2.0.2/running-on-yarn.html 1. 在spark-env.sh中配置HADOOP_CONF_DIR 或者 YARN_CON ...
分类：
其他好文 时间：
2020-05-19 01:07:50
阅读次数：
53
多线程 35. 并行和并发有什么区别？ 并行是指两个或者多个事件在同一时刻发生；而并发是指两个或多个事件在同一时间间隔发生。 并行是在不同实体上的多个事件，并发是在同一实体上的多个事件。 在一台处理器上“同时”处理多个任务，在多台处理器上同时处理多个任务。如hadoop分布式集群。 所以并发编程的目 ...
分类：
编程语言 时间：
2020-05-19 00:57:50
阅读次数：
61
大数据实践（一） Hadoop单机搭建（Ubuntu） 前置环境及工具： Ubuntu 16 VirtualBox Hadoop 2.7.3 xftp6 jdk1.8 [TOC] 1、VirtualBox环境准备 001、设置网卡 双网卡：选择桥接模式与仅主机模式。 保证主机与虚拟机之间相互ping ...
分类：
系统相关 时间：
2020-05-19 00:41:06
阅读次数：
78
通用监控指标 对于每个RPC服务应该监控 RpcProcessingTimeAvgTime(PRC处理的平均时间) 通常hdfs在异常任务突发大量访问时，这个参数会突然变得很大，导致其他用户访问hdfs时，会感觉到卡顿，从而影响任务的执行时间 CallQueueLength(RPC Call队列的长 ...
分类：
其他好文 时间：
2020-05-18 20:44:08
阅读次数：
170
Hive产生背景： mapreduce编程的不便性 HDFS上的文件缺少Schema Hive Facebook开源的，最初用于海量结构化的日志数据统计问题 构建在hadoop之上的数据仓库 hive定义了一种类SQL查询语言：HQL（类似SQL但不完全相同） 通常用于离线数据处理（采用mapred ...
分类：
其他好文 时间：
2020-05-18 16:01:16
阅读次数：
183
https://www.cnblogs.com/kisf/p/7494203.html kerberos相关： ? 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 ...
分类：
其他好文 时间：
2020-05-18 15:53:51
阅读次数：
54
