要点: 代码针对于 spark 1.6.1源码 1, TaskScheduler如何注册application, executor如何反注册 2, DAGScheduler 3, spark UI 一、SparkConf概述 SparkContext需要传入SparkConf来进行初始化，Spark ...
分类：
其他好文 时间：
2017-12-17 23:42:12
阅读次数：
172
联想研究院 1面 自我介绍 聊比赛，讲了讲jdd的。 感觉都快要背过了。。。 之前重复的问题就不说了，说一下印象比较深的 adaboost 与gbdt的区别 随机森林，如果有t个特征，n个树，每个树深为m,求某个特征一次也没有被用的概率。 xgb与gbdt的区别 adaboost 参数是怎样更新的 ...
分类：
编程语言 时间：
2017-12-16 17:11:20
阅读次数：
220
-- Sams Teach Yourself SQL in 10 Minutes -- http://forta.com/books/0672336073/ -- Example table creation scripts for Microsoft SQL Server. -- Create C ...
分类：
数据库 时间：
2017-12-15 15:02:35
阅读次数：
302
问题来由 CTR预估优化排序场景中，计算item的历史反馈CTR非常重要。前段时间一直在做这个，前面 "文章" 也有提及。 因为考虑使用多种平滑、过滤策略，所以我把历史CTR计算分成了两阶段： 计数 和 合并 。 ...
分类：
其他好文 时间：
2017-12-10 13:03:50
阅读次数：
107
【BZOJ2310】ParkII Description Hnoi2007-Day1有一道题目 Park：给你一个 m * n 的矩阵，每个矩阵内有个权值V(i,j) (可能为负数)，要求找一条回路，使得每个点最多经过一次，并且经过的点权值之和最大，想必大家印象深刻吧． 无聊的小 C 同学把这个问题 ...
分类：
其他好文 时间：
2017-12-09 12:09:20
阅读次数：
170
一、客户端进行操作 1、根据yarnConf来初始化yarnClient，并启动yarnClient2、创建客户端Application，并获取Application的ID，进一步判断集群中的资源是否满足executor和ApplicationMaster申请的资源，如果不满足则抛出IllegalA ...
分类：
其他好文 时间：
2017-12-08 16:13:12
阅读次数：
164
#构造case class，利用反射机制隐式转换 scala> import spark.implicits._ scala> val rdd= sc.textFile("input/textdata.txt") scala> case class Person(id:Int,name:String... ...
分类：
其他好文 时间：
2017-12-07 12:00:09
阅读次数：
378
http://blog.csdn.net/qq_22765745/article/details/71054030http://blog.csdn.net/amghost/article/details/20069005http://blog.csdn.net/chris_111x/article/ ...
分类：
系统相关 时间：
2017-12-01 19:37:03
阅读次数：
206
1. 新建，选择Scala，SBT 填写项目名称，Scala版本号等信息。 ...
分类：
其他好文 时间：
2017-11-28 15:38:06
阅读次数：
120
在idea中新建了一Spark的项目，在做项目的编译打包的时候，提示如下错误信息： 解决方法是： 第一步： File --> Project Stucture 选择项目设置Lanugage level， 如下图所示 第二步： File --> Settings --> Compiler --> Ja ...
分类：
编程语言 时间：
2017-11-28 14:19:29
阅读次数：
317
