PX: 这些都是在scala环境下的 , 非Java Spark map 转化 1行转1行 , 但可以比如拆分 , 截取 ...
分类：
其他好文 时间：
2020-05-22 21:35:06
阅读次数：
51
1.上代码 我是1-10分为3个分区 , 并取出下标号为0 的分区的数据 , 并打印 ,要想获得自己想要的分区 , 执行 这里返回的是新 RDD , 并且支持 map等操作 , 但是你只能操作一个分区了 . 在某些内存不够用的情况下 , 可以采用这种分阶段操作的方法. .mapPartitionsW ...
分类：
其他好文 时间：
2020-05-22 21:16:34
阅读次数：
92
架构 Driver Program：每个 Spark 应用的主程序 Spark Context：在 Driver 里面构建，用于协调、调度在各个节点运行的进程 Cluster Manager：管理节点，分配资源（可以是 Spark standalone、Mesos、Yarn、K8S） Worker ...
分类：
其他好文 时间：
2020-05-22 09:37:29
阅读次数：
62
ERROR spark.SparkContext: Error initializing SparkContext. java.lang.IllegalArgumentException: Required executor memory (1024), overhead (384 MB), and ...
分类：
编程语言 时间：
2020-05-21 21:20:50
阅读次数：
191
基于版本：Spark 2.2.0 把一些概念搞清楚，Spark轮廓就清晰了。 什么是Catalog，中文翻译目录，那啥叫目录呢？下面是百度百科的解释： `目录，是指书籍正文前所载的目次，是揭示和报道图书的工具。目录是记录图书的书名、著者、出版与收藏等情况，按照一定的次序编排而成，为反映馆藏、指导阅读 ...
分类：
数据库 时间：
2020-05-21 19:20:07
阅读次数：
95
2 命题方向 每团队3-5人，请使用目前流行的大数据框架与分析挖掘工具，如：Hadoop、Spark、R、Flink、TensorFlow语言等，完成一个实用的软件系统，为行业、企业或个人生活提供有益的支持。选题方向可结合（但不限于）以下方面： （1）互联网数据或者传统信息管理系统数据的获取与分析： ...
分类：
其他好文 时间：
2020-05-21 19:02:38
阅读次数：
65
路由模式有两种 hash：路径带 符号，如http://localhost/ /login （默认是这个） history：路径不带 符号，如http://localhost/login ...
分类：
其他好文 时间：
2020-05-20 18:55:14
阅读次数：
34
api代码示例入下 object DataFrameCase { def main(args: Array[String]): Unit = { val sparksession = SparkSession.builder().appName("DataFrameCase").master("lo ...
IDEA基础功能概览： shortcut(edit, 代码片段, 功能), 版本控制(VCS: git, github, local history) Debug, javadoc generator, database, web deployment project&module 等概念, 模板, ...
分类：
其他好文 时间：
2020-05-19 22:26:35
阅读次数：
70
网上看到的关于Executor，Cores和Memory的分配相关博客，先记录下来，再汇总。 <1>第一篇 Spark处理多少数据是否需要多少内存 Spark处理1Tb数据不需要1Tb的内存。 具体需要多少内存是根据executor的core数量和每次读取数据集的block大小决定的。以读取hdfs ...
分类：
其他好文 时间：
2020-05-19 16:47:03
阅读次数：
82
