什么时候需要调节Executor的堆外内存大小？ 当出现一下异常时： shuffle file cannot find，executor lost、task lost，out of memory 出现这种问题的现象大致有这么两种情况： 上述情况下，就可以去考虑调节一下executor的堆外内存。也许 ...
分类：
其他好文 时间：
2020-01-10 12:34:38
阅读次数：
91
1、StringIndexer 标签索引器，它将标签的字符串列映射到标签索引的ML列。 如果输入列为数字，则将其强制转换为字符串并为字符串值编制索引。 索引在[0，numLabels）中。 默认情况下，按标签频率排序，因此最常使用的标签的索引为0。 //定义一个StringIndexerModel， ...
分类：
其他好文 时间：
2020-01-10 12:15:12
阅读次数：
94
导读： 第一节：基础架构 1：编程模型 2：架构 3：数据传输 4：高可靠性 5：高维护性 6：数据处理方式 7：对比MR，SPARK 第二节：计算模型 1：spout 2：bolt 3：stream grouping 4：构建拓扑与提交 第三节：架构 第四节：部署 第五节：数据处理 1：同步计算 ...
分类：
其他好文 时间：
2020-01-09 20:56:24
阅读次数：
117
导读目录 第一节：sparksql 1：简介 2：核心 3：与hive整合 4：dataFrame 5：函数 第二节：spark Streaming 1：对比strom 2：DStream的算子 3：代码 4：driver HA 5：读取数据 第三节：spark调优 第一节：sparksql （1） ...
分类：
数据库 时间：
2020-01-09 20:46:58
阅读次数：
91
导读目录 第一节：代码层面 1：RDD创建 2：算子 3：数据持久化算子 4：广播变量 5：累加器 6：开发流程 第二节：Shuffle优化层面 1：Shuffle 2：调优 第一节：代码层面 （1）RDD创建： Java: sc.textfile sc.parallelize() sc.paral ...
分类：
其他好文 时间：
2020-01-09 20:41:14
阅读次数：
78
1、概念 * CountVectorizer和CountVectorizerModel旨在帮助将文本文档的集合转换为令牌计数的向量。 * 当先验字典不可用时，CountVectorizer可用作估计器以提取词汇表并生成CountVectorizerModel。 * 该模型为词汇表上的文档生成稀疏向量 ...
分类：
其他好文 时间：
2020-01-09 17:20:32
阅读次数：
108
今天在开发SparkRDD的过程中出现Buffer Overflow错误，查看具体Yarn日志后发现是因为Kryo序列化缓冲区溢出了，日志建议调大spark.kryoserializer.buffer.max的value，搜索了一下设置keyo序列化缓冲区的方法，特此整理记录下来。 ...
分类：
其他好文 时间：
2020-01-09 01:34:15
阅读次数：
187
简单回顾神经网络的历史和直观认识, 还不推导公式哦, 放心老铁, 循序渐进我懂 ...
分类：
其他好文 时间：
2020-01-09 01:31:05
阅读次数：
145
任何Spark程序员都是从SparkContext开始的，SparkContext的初始化需要一个SparkConf对象，SparkConf对象中包含了Spark集群配置的各种参数。 SparkConf conf = new SparkConf().setMaster("local").setApp ...
分类：
其他好文 时间：
2020-01-08 22:34:05
阅读次数：
79
第1章 初识机器学习 在本章中将带领大家概要了解什么是机器学习、机器学习在当前有哪些典型应用、机器学习的核心思想、常用的框架有哪些，该如何进行选型等相关问题。 1-1 导学试看 1-2 机器学习概述 1-3 机器学习核心思想 1-4 机器学习的框架与选型.. 第2章 初识MLlib 本章中，将介绍S ...
分类：
其他好文 时间：
2020-01-08 21:10:59
阅读次数：
112
