之前有操作过HBase和Hive的案例，将30w条数据从Hive导入HBase。使用sqoop可以快速简单做到，但是在最新版HBase2.0与最新版Hive3.0之间，旧版sqoop不行，因此当时使用了JDBC来连接两者，达到数据导出的目的。 HBase与Hive的对比 Hive 作为数据仓库，Hi ...
分类：
其他好文 时间：
2020-03-14 18:38:23
阅读次数：
53
该激活码为正版激活码,仅供学习交流使用 如码过期或使用报错,请关注公众号:[idea交流] 解决报错问题 D6KY031L_1GeyJsaWNlbnNlSWQiOiJENktZMDMxTDFHIiwibGljZW5zZWVOYW1lIjoi5o6I5p2D5Luj55CG5ZWGOiB3d3cuaT ...
前言 那个啥…前面发了2篇文章讲这个商品表的设计，后面越多需求浮出水面才发现设计依旧有问题，好吧，乐观一点，正如我博客的标题一样，我在进化…^_^ 为什么要这样设计 先说几个需求，看看您现在是如何去实现： 一个用户来到我们网站,在前台页面, 1.他要买洗发水，他进入了洗发水的类别，他想买带去屑止痒功 ...
分类：
其他好文 时间：
2020-03-13 20:28:41
阅读次数：
45
介绍 LEFT SEMI JOIN （左半连接）是 IN/EXISTS 子查询的一种更高效的实现。 示例 可以改写为 特点 1、left semi join 的限制是， JOIN 子句中右边的表只能在 ON 子句中设置过滤条件，在 WHERE 子句、SELECT 子句或其他地方过滤都不行。 2、le ...
分类：
其他好文 时间：
2020-03-12 17:09:46
阅读次数：
67
点滴之水，汇成江海！ 这个小问题很容易解决，但真的也困扰了我很久！ 命令案例： sqoop create-hive-table --connect jdbc:mysql://192.168.44.143:3306/sqooptest --username root --password lam7 - ...
分类：
数据库 时间：
2020-03-11 19:46:01
阅读次数：
72
CDN，内容分发网络，除了用作网站加速外，还能够更好的保护网站不被攻击。防护网站不被攻击的功能成就了CDN运行中的主要责任。CDN 防护原理是其主要在于在相关节点中成功的建立动态加速机制以及智能沉于等机制，这种机制能够帮助网站流量访问分配到每一个节点中，智能的进行流量分配机制。 那么CDN有哪些技术 ...
分类：
其他好文 时间：
2020-03-11 15:42:24
阅读次数：
59
什么是Spark SQL？ Spark SQL是Spark用来处理结构化数据的一个模块，它提供了2个编程抽象：DataFrame和DataSet，并且作为分布式SQL查询引擎的作用。 我们已经学习了Hive，它是将Hive SQL转换成MapReduce然后提交到集群上执行，大大简化了编写MapRe ...
分类：
数据库 时间：
2020-03-11 10:46:14
阅读次数：
68
数据操作 加载数据 LOAD DATA 加载数据 LOCAL 本地数据，不加LOCAL就是分布式文件系统数据 OVERWRITE表示覆盖表中已有数据，否则表示追加 通过查询语言插入数据 这里使用了OVERWRITE关键字，之前分区内容会被覆盖掉。这是一次插入。 以下为多次插入，对多个分区目录插入数据 ...
分类：
其他好文 时间：
2020-03-10 12:11:23
阅读次数：
88
背景：1、ApacheSentry是Cloudera公司发布的一个Hadoop开源组件，它提供了细粒度级、基于角色的授权以及多租户的管理模式，2、Sentry当前可以和Hive/Hcatalog、ApacheSolr和ClouderaImpala集成，为这些组件提供权限管理服务。3、基于角色的管理（role-basedacesscontrol）通过创建角色，将每个组件的权限授予给此角色，然后在用户
分类：
其他好文 时间：
2020-03-09 19:38:28
阅读次数：
72
第 7 章 unittest 扩展 在第 6 章中，我们介绍了 unittest 的主要功能，但是如果只用它来写 Web 自动化测试，则仍稍显不足。例如，它不能生成 HTML 格式的报告、它不能提供参数化功能等。不过，我们可以借助第三方扩展来弥补这些不足。 7.1 HTML 测试报告 HTMLTes ...
分类：
Web程序 时间：
2020-03-09 13:53:59
阅读次数：
91
