Spark Streaming 是Spark核心API的一个扩展，可以实现高吞吐量的、具备容错机制的实时流数据的处理。支持从多种数据源获取数据，包括Kafk、Flume、Twitter、ZeroMQ、Kinesis 以及TCP sockets，从数据源获取数据之后，可以使用诸如map、reduce、join和window等高级函数进行复杂算法的处理。最后还可以将处理结果存储到文件系统，数据库和现场仪表盘。...
分类：
其他好文 时间：
2015-09-10 11:10:31
阅读次数：
169
1.编译原理学什么？"编译原理"：研究设计和构造编译程序原理和方法以及主要实现技术。其中蕴含着计算机科学中解决问题的思路.形式化问题和解决问题的方法。通过本课程的学习，使学生掌握编译理论和方法方面的基本知识，同时也获得设计、实现、分析和移植编译程序方面的初步能力。 编译原理（第3版）共10章，内容包...
分类：
其他好文 时间：
2015-09-09 22:47:04
阅读次数：
276
1.编译原理学什么？编译原理是学习编译技术的基本理论和实现技术，包括语言文法的基本知识、词法分析、语法分析、语义分析及中间代码、目标代码生成等内容；2.为什么学编译原理？可以使我们学生既掌握编译理论和方法方面的基本知识，而且也获得设计、实现、分析、和移植编译程序方面的初步能力；3怎么学编译原理？首先...
分类：
其他好文 时间：
2015-09-09 21:19:22
阅读次数：
273
UDT Server启动之后，基于UDT协议的UDP数据可靠传输才成为可能，因而接下来分析与UDT Server有关的几个主要API的实现，来了解下UDT Server是如何listening在特定UDP端口上的。主要有UDT::bind()，UDT::listen()和...
分类：
其他好文 时间：
2015-09-09 19:53:26
阅读次数：
344
在flume中原有的sink的hdfs接口中只有根据写入多少秒存储关闭文档或者写入多少量存储关闭文档,饼不能根据实际需求来关闭文档,所以需要自己改写代码来满足我们的要求.例如我们需要他在每天到了0点以后关闭上一日的文档,并在写一个新的文档出来,首先我找到源码在flume的源码中一..
分类：
Web程序 时间：
2015-09-09 19:47:15
阅读次数：
499
开一个监听持续间断的获取某个日志的续写的信息,并传入sink中,在flume默认的组建中并没用这样的功能,只能自己根据业务就行开发,下面flume获得source信息概要:首先我们在获得持续输出的日志并创建一个文件中记录我们获取这个日志的信息变化的位置,根据这个位置文件来完成,我们需..
分类：
Web程序 时间：
2015-09-09 19:47:11
阅读次数：
214
续上面获得资源后我们要将转换为相应的日志,落在统一的服务器中.在flume中的对file操作的sink只有RollingFileSink但这个对我们来一点用都没有,packagecom.ule.flume.sink.file;
importjava.io.BufferedOutputStream;
importjava.io.File;
importjava.io.FileOutputStream;
imp..
分类：
Web程序 时间：
2015-09-09 19:44:35
阅读次数：
191
UDT API的用法 在分析 连接的建立过程 之前，先来看一下UDT API的用法。在UDT网络中，通常要有一个UDT Server监听在某台机器的某个UDP端口上，等待客户端的连接；有一个或多个客户端连接UDT Server；UDT Server接...
分类：
其他好文 时间：
2015-09-07 21:19:35
阅读次数：
919
UDT协议是一个用于在告诉Internet上传输大量数据的基于UDP的可靠传输协议。 我们可以将UDT协议的实现看作一个比较复杂的状态机。更准确的说，是一个主状态机，外加多个子状态机。主状态机是指协议实现中全局唯一、...
分类：
其他好文 时间：
2015-09-06 21:46:55
阅读次数：
396
开始学线性代数啦， 当然作为学软件的，学数学就是要用数学的。 再说还有这么的作业要写，写个小程序岂不是很省力。说明： 输入行列式的 行（列）数 N 并依次输入n*n个数。 程序将输出 行列式的计算算式，并得出结果！代码实现分析： 调用头文件里的库函数 next_permutation() 具体实现....
分类：
其他好文 时间：
2015-09-03 14:04:17
阅读次数：
429
