用于Kafka 0.10的结构化流集成从Kafka读取数据并将数据写入到Kafka。 1. Linking 对于使用SBT/Maven项目定义的Scala/Java应用程序，用以下工件artifact连接你的应用程序： 对于Python应用程序，你需要在部署应用程序时添加上面的库及其依赖关系。查看D ...
分类：
其他好文 时间：
2018-02-26 17:41:51
阅读次数：
431
STL真是个好东西。 最近在看pb_ds库及vector和set的用法，就想用这三种操作来实现一下普通平衡树，结果pb_ds中的rbtree不支持重复值，而本蒟蒻也看不懂不懂各大佬用pb_ds的实现，况且应该有人已经贴上了题解。我就发一发vector和set（其实是multiset）的题解吧。~~（ ...
分类：
其他好文 时间：
2018-02-24 13:20:11
阅读次数：
213
注意： spark用2.1.1 scala用2.11.11 材料准备 spark安装包 JDK 8 IDEA开发工具 scala 2.11.8 环境搭建步骤 将spark-2.1.1-bin-hadoop2.x版本至c盘下即可 将spark中的jar包全部提取出来另外放到一地方用于进行开发 新建ID ...
==>Scala语言简介-->Scala编程语言抓住了很多开发者的眼球。如果你粗略浏览Scala的网站，你会觉得Scala是一种纯粹的面向对象编程语言，而又无缝地结合了命令式编程和函数式编程风格-->不太久之前编程语言还可以毫无疑意地归类成“命令式”或者“函数式”或者“面向对象”。Scala代表了一个新的语言品种，它抹平了这些人为划分的界限。==>Scala有几项关键特性表明了它的面向对象的本质-
分类：
编程语言 时间：
2018-02-11 20:06:04
阅读次数：
184
前言 项目关系，希望用Spark GraphX做数据分析及图像展示，但前提是得回spark；spark是基于scala的，scala是基于JAVA的……所以，要想用Spark GraphX，技术堆栈大体上应该是这样的：Java -> Scala -> Spark -> Spark GraphX。 J ...
分类：
其他好文 时间：
2018-02-10 14:58:00
阅读次数：
296
题目链接 状态奇差无比，sbt都能错一遍。 不动笔光想没有想到怎么做，画图之后发现一个很明显的性质…… 那就是两个开战的部落，其中一个是另一个的父亲。 所以在儿子那里加个权值。查询的时候树链剖分查询链上点权和，减去lca的点权（因为lca那如果有点权，代表的是lca和lca的父亲之间的那条边）。 ...
分类：
其他好文 时间：
2018-01-30 23:04:44
阅读次数：
186
sbt打包Scala写的Spark程序，打包正常，提交运行时提示找不到对应的类 详述 1. 使用sbt对写的Spark程序打包，过程中没有问题 2. spark submit提交jar包运行提示找不到对应的类 解决 1. 编译环境没有变化，将代码拷贝到其他项目下打包可以运行，无解 2. 偶然发现ID ...
分类：
其他好文 时间：
2018-01-22 19:15:52
阅读次数：
575
idea中使用scala运行spark出现： 查看build.sbt: 你需要确保 spark所使用的scala版本与你系统scala的版本一致 你也可以这样： 那怎样确认你的版本是否一致呢: 1 .首先查看你代码使用的版本,这个就是从pom.xml中或者sbt配置文件中查看 确定你的使用版本 2. ...
分类：
编程语言 时间：
2018-01-20 12:40:32
阅读次数：
3068
题目链接 SBT，我居然没看出来。 就是插入的时候考虑向平衡树里插两个差值，删一个差值。 另一个操作就是维护某元素和其前驱后继的差值最小值就行了。 然后Splay超时了…… （貌似Splay超时了之后我都是修改splay操作的频率暴力硬卡，而不是考虑换一种思路…… 然后就被我卡过了。 ...
分类：
其他好文 时间：
2018-01-17 15:57:47
阅读次数：
132
[题面戳我][1]（题面很鬼畜建议阅读一下） 题意：给出n，m，求 $$\sum_{i=1}^{n}\sum_{j=1}^{m}[gcd(i,j)\mbox{不是完全平方数}]$$ 多组数据，$n,m\le10^7$ sol ~~SBT~~ 演成这个样子： $$\sum_{T=1}^{n}\lflo ...
分类：
其他好文 时间：
2018-01-16 18:01:46
阅读次数：
127
