废话： 有一段时间没搞过开发了，做项目又要重新找回点开发的记忆。重新拾回一点点零碎。 跑多了产线，配置的一些参数也忘记得差不多了，长时间没动就是易遗忘，找点资料做个笔记就是时间保镖。 正题： FND_REQUEST.SUBMIT_REQUEST 函数是用来提交一个请求的,它返回一个NUMBER值.具...
分类：
数据库 时间：
2014-07-07 17:06:54
阅读次数：
458
欢迎转载，转载请注明出处，徽沪一郎概要在新近发布的spark 1.0中新加了sql的模块，更为引人注意的是对hive中的hiveql也提供了良好的支持，作为一个源码分析控，了解一下spark是如何完成对hql的支持是一件非常有趣的事情。Hive简介Hive的由来以下部分摘自Hadoop defini...
分类：
其他好文 时间：
2014-07-07 14:45:58
阅读次数：
224
欢迎转载，转载请注明出处，徽沪一郎。Spark Streaming能够对流数据进行近乎实时的速度进行数据处理。采用了不同于一般的流式数据处理模型，该模型使得Spark Streaming有非常高的处理速度，与storm相比拥有更高的吞能力。本篇简要分析Spark Streaming的处理模型，Spa...
分类：
其他好文 时间：
2014-07-07 14:44:43
阅读次数：
213
欢迎转载，转载请注明出处，徽沪一郎，谢谢。在流数据的处理过程中，为了保证处理结果的可信度(不能多算，也不能漏算)，需要做到对所有的输入数据有且仅有一次处理。在Spark Streaming的处理机制中，不能多算，比较容易理解。那么它又是如何作到即使数据处理结点被重启，在重启之后这些数据也会被再次处理...
分类：
其他好文 时间：
2014-07-07 14:36:48
阅读次数：
275
欢迎转载，转载请注明出处，徽沪一郎。概要在即将发布的spark 1.0中有一个新增的功能，即对sql的支持，也就是说可以用sql来对数据进行查询，这对于DBA来说无疑是一大福音，因为以前的知识继续生效，而无须去学什么scala或其它script.一般来说任意一个sql子系统都需要有parser,op...
分类：
数据库 时间：
2014-07-07 14:34:40
阅读次数：
396
欢迎转载，转载请注明出处，徽沪一郎。楔子Spark计算速度远胜于Hadoop的原因之一就在于中间结果是缓存在内存而不是直接写入到disk，本文尝试分析Spark中存储子系统的构成，并以数据写入和数据读取为例，讲述清楚存储子系统中各部件的交互关系。存储子系统概览上图是Spark存储子系统中几个主要模块...
分类：
其他好文 时间：
2014-07-07 14:30:41
阅读次数：
304
欢迎转载，转载请注明出处,徽沪一郎。概要之所以对spark shell的内部实现产生兴趣全部缘于好奇代码的编译加载过程，scala是需要编译才能执行的语言，但提供的scala repl可以实现代码的实时交互式执行，这是为什么呢？既然scala已经提供了repl，为什么spark还要自己单独搞一套sp...
分类：
其他好文 时间：
2014-07-07 14:29:15
阅读次数：
205
y欢迎转载，转载请注明出处，徽沪一郎。概要“spark已经比较头痛了，还要将其运行在yarn上，yarn是什么，我一点概念都没有哎，再怎么办啊。不要跟我讲什么原理了，能不能直接告诉我怎么将spark在yarn上面跑起来，I'm a dummy, just told me how to do it.”...
分类：
其他好文 时间：
2014-07-07 14:23:52
阅读次数：
278
D - Rope in the Labyrinth
Time Limit:500MS Memory Limit:65536KB 64bit IO Format:%I64d
& %I64u
Submit Status Practice URAL
1145
Description
A labyrinth with rectangular form...
分类：
其他好文 时间：
2014-06-30 08:14:14
阅读次数：
277
3622: 已经没有什么好害怕的了
Time Limit: 10 Sec Memory Limit: 256 MB
Submit: 7 Solved: 6
[Submit][Status]
Description
Input
Output
Sample Input
4 2
5 35 15 45
40 20 10 30
Sampl...
分类：
其他好文 时间：
2014-06-29 22:28:01
阅读次数：
325
