产生背景：sqoop抽取oracle数据到hive表时，只能写入到固定分区（--hive-partition-key #hive分区字段 --hive-partition-value #hive分区值）。于是先把数据抽取到一张增量表，然后从增量表动态写入分区表。 set hive.exec.dyna ...
分类：
数据库 时间：
2019-12-19 23:26:48
阅读次数：
305
采集类型： 全量 采集： 相当于每天整张表做个快照，在hdfs上就是一个分区 ，表比较小 增量采集： 采集每天增加的部分 1、流水型数据 ： 写入数据库数据不再发生变化（如日志，交易流水） ， 第二天处理前一天的数据 采集条件可设为1/ 按时间增量的抽取 ，sqoop: create_time>=T ...
分类：
其他好文 时间：
2019-12-16 13:05:35
阅读次数：
113
为什么要有继承？ 多个类中存在相同属性和行为时，将这些内容抽取到单独的一个类中，那么多个类无需再定义这些属性和行为，只要继承那个类即可。子类继承了父类，就继承了父类的属性和方法；在子类中，可以使用父类中定义的方法和属性，也可以创建新的属性和方法；子类中不能直接访问父类的private属性，只能通过s ...
分类：
编程语言 时间：
2019-12-15 18:40:44
阅读次数：
113
# 封装 # 对外部隐藏具体的实现细节, 只提供简单的调用接口, 如USB接口 # 在类中, 用双下划线, 封装属性或方法, 外部不能调用, 不能继承 # 例: def __test(self): # 私有方法 pass __name = 'lee' # 私有属性 # 继承 # 将一些共同代码抽取成 ...
分类：
其他好文 时间：
2019-12-15 14:51:11
阅读次数：
95
转自：https://www.cnblogs.com/Luv-GEM/p/11598294.html （ok） 1.关系抽取从实现的算法来看，主要分为四种： 1、手写规则（Hand-Written Patterns）； 2、监督学习算法（Supervised Machine Learning）； 3 ...
分类：
其他好文 时间：
2019-12-15 12:55:13
阅读次数：
650
1. json_merge 合并Json并返回 2.插入json 3.插入或者更新json字段。 4.更新json字段。 5. 抽取json字段的值。 6.将对象转化为json。 7，移除json的某个属性 对于玩家的多个标志，可以用json来存储和局部更新，会更方便。 ...
分类：
数据库 时间：
2019-12-13 21:49:27
阅读次数：
575
因为实训课要用LSTM+attention机制在钢材领域做一个关系抽取。作为仅仅只学过一点深度学习网络的小白在b站上学习了RNN，LSTM的一些理论知识。 但只懂得一些理论知识是无法完成关系抽取的任务的。于是从图书馆借来《tensoflow实战 深度学习框架》，在此开始记录我的tensorflow神 ...
分类：
其他好文 时间：
2019-12-13 15:27:09
阅读次数：
111
面向对象编程思想 抽象 封装和数据隐藏 多态 继承 代码的可复用性 面向对象分析 五个层次、五个活动组成 目的 1、获得系统的对象个体、个体内部的状态、个体与个体间的交互 活动 1、建模系统功能 2、发现并且确定业务对象 3、组织对象并确定其关系 抽象 舍弃个别的、非本质的特征，抽取共同的、本质的特 ...
分类：
其他好文 时间：
2019-12-12 14:48:15
阅读次数：
61
[toc] RabbitMQ提供了6种消息模型，但是第6种其实是RPC，并不是MQ，因此不予学习。那么也就剩下5种。但是其实3、4、5这三种都属于订阅模型，只不过进行路由的方式不同。 0. 配置项目 pom.xml 我们抽取一个建立RabbitMQ连接的工具类，方便其他程序获取连接： 1. 基本消息 ...
分类：
其他好文 时间：
2019-12-11 19:18:52
阅读次数：
91
基于Springboot后台开发框架，JSP虽然还是可以用，但已经强烈推荐使用Thymeleaf模板了，Thymeleaf模板是html页面，又不想通过iframe或者ajax的方式，这个时候如何抽取公共页面呢？其实，Thymeleaf已经给我们提供了极好的方式，并且不仅仅是页面，还可以对样式**CSS、Javascript**进行抽取。
分类：
其他好文 时间：
2019-12-11 19:05:32
阅读次数：
283
