架构 Driver Program：每个 Spark 应用的主程序 Spark Context：在 Driver 里面构建，用于协调、调度在各个节点运行的进程 Cluster Manager：管理节点，分配资源（可以是 Spark standalone、Mesos、Yarn、K8S） Worker ...
分类：
其他好文 时间：
2020-05-22 09:37:29
阅读次数：
62
ERROR spark.SparkContext: Error initializing SparkContext. java.lang.IllegalArgumentException: Required executor memory (1024), overhead (384 MB), and ...
分类：
编程语言 时间：
2020-05-21 21:20:50
阅读次数：
191
基于版本：Spark 2.2.0 把一些概念搞清楚，Spark轮廓就清晰了。 什么是Catalog，中文翻译目录，那啥叫目录呢？下面是百度百科的解释： `目录，是指书籍正文前所载的目次，是揭示和报道图书的工具。目录是记录图书的书名、著者、出版与收藏等情况，按照一定的次序编排而成，为反映馆藏、指导阅读 ...
分类：
数据库 时间：
2020-05-21 19:20:07
阅读次数：
95
2 命题方向 每团队3-5人，请使用目前流行的大数据框架与分析挖掘工具，如：Hadoop、Spark、R、Flink、TensorFlow语言等，完成一个实用的软件系统，为行业、企业或个人生活提供有益的支持。选题方向可结合（但不限于）以下方面： （1）互联网数据或者传统信息管理系统数据的获取与分析： ...
分类：
其他好文 时间：
2020-05-21 19:02:38
阅读次数：
65
前期准备：hadoop HA环境已搭建成功，zookeeper能正常运行。 安装流程： 1.解压tar zxvf hbase 1.2.6 bin.tar.gz （当前1.2. 版本最为稳定，1.3. 还在优化中） vi /etc/profile?环境变量 export?HBASE_HOME=/had ...
分类：
其他好文 时间：
2020-05-21 19:00:42
阅读次数：
50
hbase权威指南 第四版中文版pdf是一部专注于hbase开源数据库方面的电子书籍，这部电子书详细讲解了Hbase原理、基本概念、基本架构等内容，感兴趣的朋友欢迎来绿色资源网下载使用！ hbase权威指南 第四版中文版介绍 《HBase权威指南》探讨了与Hadoop的高度集成如何使HBase的可伸 ...
分类：
其他好文 时间：
2020-05-21 16:37:27
阅读次数：
113
高可用性的HDFS：Hadoop分布式文件系统深度实践专注于Hadoop分布式文件系统（HDFS）的主流HA解决方案，内容包括：HDFS元数据解析、Hadoop元数据备份方案、Hadoop Backup Node方案、AvatarNode解决方案以及最新的HA解决方案Cloudrea HA Name ...
分类：
其他好文 时间：
2020-05-21 16:29:51
阅读次数：
73
《HBase实战》是一个完整手册，更是一本HBase项目实战指导，是作者多年使用HBase实践经验的升华。《HBase实战》更是最实用的HBase技术书，书中含有大量真实的应用和代码示例。 《HBase实战》是一本基于经验提炼而成的指南，它教给读者如何运用HBase设计、搭建及运行大数据应用系统。全 ...
分类：
其他好文 时间：
2020-05-21 16:28:09
阅读次数：
201
背景 早在2013年1月，ORC(Optimized Row Columnar)出现，作为大规模加速Apache Hive和提高存储在Apache Hadoop中的数据的存储效率的计划的一部分。重点是为了提升处理速度和减小文件占用磁盘大小。 目前有很多公司已经大规模使用ORC了，比如Facebook ...
分类：
其他好文 时间：
2020-05-21 16:21:16
阅读次数：
76
1.Hadoop部署包下载(apache社区版) 1.1下载地址 http://www.apache.org/dyn/closer.cgi/hadoop/common/ 1.2下载注意(稳定版下载) 2.查看部署包内安装手册 2.1解压部署包后，用浏览器打开(hadoop-3.1.3\share\d ...
分类：
其他好文 时间：
2020-05-21 13:13:24
阅读次数：
59
