apache版本 伪分布式 完全分布式 CDH版本 编译 编译环境 常见编译错误 CDH版本Zookeeper环境搭建 CDH版本Hadoop环境搭建 ...
分类：
Web程序 时间：
2020-05-22 22:59:12
阅读次数：
90
PX: 这些都是在scala环境下的 , 非Java Spark map 转化 1行转1行 , 但可以比如拆分 , 截取 ...
分类：
其他好文 时间：
2020-05-22 21:35:06
阅读次数：
51
1.上代码 我是1-10分为3个分区 , 并取出下标号为0 的分区的数据 , 并打印 ,要想获得自己想要的分区 , 执行 这里返回的是新 RDD , 并且支持 map等操作 , 但是你只能操作一个分区了 . 在某些内存不够用的情况下 , 可以采用这种分阶段操作的方法. .mapPartitionsW ...
分类：
其他好文 时间：
2020-05-22 21:16:34
阅读次数：
92
问题描述： 昨天晚上都下班了，突然领导发消息实时数据没有了，我去什么鬼，我记得我走的时候数据还是正常启动的，怎么就没数据那， 我们数据是通过flink 从kafka 消费数据，然后写入到hbase.怎么就没数据那什么情况。 然后我去yarn的资源管理器上面查看运行情况 发现，程序挂掉了，什么情况。好 ...
分类：
其他好文 时间：
2020-05-22 19:12:15
阅读次数：
88
当 Hadoop的NameNode节点启动时，会进入安全模式阶段。在此阶段，DataNode会向NameNode上传它们数据块的列表，让NameNode得到块的位置信息，并对每个文件对应的数据块副本进行统计。当最小副本条件满足时，即一定比例的数据块都达到最小副本数，系统就会退出安全模式，而这需要一定 ...
分类：
其他好文 时间：
2020-05-22 17:16:55
阅读次数：
71
架构 Driver Program：每个 Spark 应用的主程序 Spark Context：在 Driver 里面构建，用于协调、调度在各个节点运行的进程 Cluster Manager：管理节点，分配资源（可以是 Spark standalone、Mesos、Yarn、K8S） Worker ...
分类：
其他好文 时间：
2020-05-22 09:37:29
阅读次数：
62
ERROR spark.SparkContext: Error initializing SparkContext. java.lang.IllegalArgumentException: Required executor memory (1024), overhead (384 MB), and ...
分类：
编程语言 时间：
2020-05-21 21:20:50
阅读次数：
191
基于版本：Spark 2.2.0 把一些概念搞清楚，Spark轮廓就清晰了。 什么是Catalog，中文翻译目录，那啥叫目录呢？下面是百度百科的解释： `目录，是指书籍正文前所载的目次，是揭示和报道图书的工具。目录是记录图书的书名、著者、出版与收藏等情况，按照一定的次序编排而成，为反映馆藏、指导阅读 ...
分类：
数据库 时间：
2020-05-21 19:20:07
阅读次数：
95
