因为想要通过hive作为数据库来保存爬取后和处理完成的数据，需要添加spark的hive支持，这方面还没编译完，所以今天暂时没有这方面的进度，所以写写SparkSteaming。 数据的价值随着时间的流逝而减少 这也正是MapReduce的使用范围所产生的的极大弊端，没法应对大流量的实时数据，MR这 ...
分类：
其他好文 时间：
2020-02-02 21:59:34
阅读次数：
95
前一随笔讲述了类的概念和类的基本理念(即数据封装,数据抽象.当然,不限于此,这里只概括到这里) 数据封装: 类实现了对对象属性和方法的封装,即把它们都写在一个类中.使得二者都有了一个作用范围,即它们都是属于本类的属性和方法,至于其他类就没有对本类属性和方法的使用权. 数据抽象: 编程是如何使用类对象 ...
分类：
编程语言 时间：
2020-02-02 13:27:16
阅读次数：
69
安卓中的消息处理机制主要涉及到5个概念 （1）消息类:Message,可以理解成一个数据单元； （2）消息队列类:Message Queue,存放通过Hander发布的消息，处理顺序类似于队列，按照先进先出的顺序执行； （3）消息操作类:Handler,用于处理包装在Message中的数据； （4） ...
分类：
移动开发 时间：
2020-02-01 19:27:32
阅读次数：
112
1、流程图 因为在定义的JavaBean中没有与之对应的实体（学生姓氏、性别），因此需要创建一个VO（只有姓氏和性别），将表单提交的数据封装到VO实体中，再封装到MAP集合中，将该实体作为参数查询对应的学生集合。因为有两个条件（姓氏和性别），因此，需要用到多条件查询。 2、核心代码 （1）表单页面 ...
分类：
其他好文 时间：
2020-01-30 23:20:13
阅读次数：
155
装饰器在Python中是一个强大的高级用法，并且在流行Python框架中变得越来越常见。经常会用到装饰器来增强函数的行为（动态的给一个对象添加一些额外的职责），包括记录日志，权限校验，性能测试，数据封装等。有了装饰器，我们可以抽离出大量和函数功能本身无关的雷同代码并继续重用。 Python装饰器有两 ...
分类：
编程语言 时间：
2020-01-29 23:42:39
阅读次数：
93
一、python面向对象的三大特性：继承、封装、多态 封装：把很多数据封装到一个对象中。把固定功能的代码封装到一个代码代码块、函数、对象、打包成模块。这都属于封装的思想。具体的情况具体分析，比如，你写了一个很NB的函数，那这个也可以被称之为封装。在面向对象思想中，是把一些看似无关紧要的内容组合到一起 ...
分类：
其他好文 时间：
2020-01-28 17:12:01
阅读次数：
79
flume agent 内部原理 1、Source采集数据，将数据封装成Event对象，然后将数据交给 Channel Processor （利用该类的方法进行下一步的处理） 2、 Channel Processor 将Event事件传递给拦截器链（Intercepter，进行简单的数据清洗），然后 ...
分类：
Web程序 时间：
2020-01-26 14:29:01
阅读次数：
130
问题 很多同学博客里都说C语言不安全，不严谨，那么c语言哪里不安全，不严谨？ 看法 1. C 语言使用指针。这个操作可以直接访问物理内存，加速了 C 语言的运行效率。但指针容易访问到未申请的地址，导致程序的崩溃。 2. C 语言进行动态申请空间时，new 操作申请的空间必须使用 delete 操作的 ...
分类：
其他好文 时间：
2020-01-25 01:01:21
阅读次数：
96
SpringMVC 第一章 1.1 三层架构 表现层：web层，用来和客户端进行数据交互的，一般采用MVC的设计模式 业务层：处理公司具体的业务逻辑的 持久层：操作数据库的 1.2 MVC模型 Model：用来进行数据封装 View：用来展示数据给用户 Controller：用来接收用户请求，整个流 ...
分类：
编程语言 时间：
2020-01-19 19:23:23
阅读次数：
73
SFTP协议的工作原理 AS2（Applicability Statement 2）协议是一种应用广泛的企业间B2B通信协议，它被设计用来安全的交换EDI信息，以使交易的双方确保信息交换可靠、安全的完成。AS2协议是基于HTTP/S来进行数据交换。通过使用加密和数据签名传输将数据封装为S/MIME（ ...
分类：
其他好文 时间：
2020-01-19 09:18:43
阅读次数：
743
