问题描述： 昨天晚上都下班了，突然领导发消息实时数据没有了，我去什么鬼，我记得我走的时候数据还是正常启动的，怎么就没数据那， 我们数据是通过flink 从kafka 消费数据，然后写入到hbase.怎么就没数据那什么情况。 然后我去yarn的资源管理器上面查看运行情况 发现，程序挂掉了，什么情况。好 ...
分类：
其他好文 时间：
2020-05-22 19:12:15
阅读次数：
88
当 Hadoop的NameNode节点启动时，会进入安全模式阶段。在此阶段，DataNode会向NameNode上传它们数据块的列表，让NameNode得到块的位置信息，并对每个文件对应的数据块副本进行统计。当最小副本条件满足时，即一定比例的数据块都达到最小副本数，系统就会退出安全模式，而这需要一定 ...
分类：
其他好文 时间：
2020-05-22 17:16:55
阅读次数：
71
2 命题方向 每团队3-5人，请使用目前流行的大数据框架与分析挖掘工具，如：Hadoop、Spark、R、Flink、TensorFlow语言等，完成一个实用的软件系统，为行业、企业或个人生活提供有益的支持。选题方向可结合（但不限于）以下方面： （1）互联网数据或者传统信息管理系统数据的获取与分析： ...
分类：
其他好文 时间：
2020-05-21 19:02:38
阅读次数：
65
前期准备：hadoop HA环境已搭建成功，zookeeper能正常运行。 安装流程： 1.解压tar zxvf hbase 1.2.6 bin.tar.gz （当前1.2. 版本最为稳定，1.3. 还在优化中） vi /etc/profile?环境变量 export?HBASE_HOME=/had ...
分类：
其他好文 时间：
2020-05-21 19:00:42
阅读次数：
50
hbase权威指南 第四版中文版pdf是一部专注于hbase开源数据库方面的电子书籍，这部电子书详细讲解了Hbase原理、基本概念、基本架构等内容，感兴趣的朋友欢迎来绿色资源网下载使用！ hbase权威指南 第四版中文版介绍 《HBase权威指南》探讨了与Hadoop的高度集成如何使HBase的可伸 ...
分类：
其他好文 时间：
2020-05-21 16:37:27
阅读次数：
113
高可用性的HDFS：Hadoop分布式文件系统深度实践专注于Hadoop分布式文件系统（HDFS）的主流HA解决方案，内容包括：HDFS元数据解析、Hadoop元数据备份方案、Hadoop Backup Node方案、AvatarNode解决方案以及最新的HA解决方案Cloudrea HA Name ...
分类：
其他好文 时间：
2020-05-21 16:29:51
阅读次数：
73
背景 早在2013年1月，ORC(Optimized Row Columnar)出现，作为大规模加速Apache Hive和提高存储在Apache Hadoop中的数据的存储效率的计划的一部分。重点是为了提升处理速度和减小文件占用磁盘大小。 目前有很多公司已经大规模使用ORC了，比如Facebook ...
分类：
其他好文 时间：
2020-05-21 16:21:16
阅读次数：
76
1.Hadoop部署包下载(apache社区版) 1.1下载地址 http://www.apache.org/dyn/closer.cgi/hadoop/common/ 1.2下载注意(稳定版下载) 2.查看部署包内安装手册 2.1解压部署包后，用浏览器打开(hadoop-3.1.3\share\d ...
分类：
其他好文 时间：
2020-05-21 13:13:24
阅读次数：
59
一.Hadoop社区版和发行版 社区版：我们把Apache社区一直开发的Hadoop称为社区版。简单的说就是Apache Hadoophttp://hadoop.apache.org/ 发行版：基于Apache Hadoop的基础上进行商业改造的解决方案，包含一系列定制的管理工具和软件。 二.Had ...
分类：
其他好文 时间：
2020-05-20 18:35:44
阅读次数：
59
1. UDF 2.UDAF 3.UDTF hive是一个计算引擎. mapreduce 慢，吞吐量达. hive有点像一个hadoop的客户端,他不是分布式的. ...
分类：
其他好文 时间：
2020-05-19 10:43:18
阅读次数：
40
