[hadoop@localhost mapreduce]$ hadoop jar hadoop-mapreduce-examples-2.7.3.jar wordcount /home/hadoop/data/input/sp.txt /home/hadoop/data/output/sp_2018... ...
分类：
其他好文 时间：
2018-12-25 20:20:15
阅读次数：
218
原文链接：https://www.cnblogs.com/zhuawang/p/5212809.html Java 开发必会的 Linux 命令 作为一个Java开发人员，有些常用的Linux命令必须掌握。即时平时开发过程中不使用Linux（Unix）或者mac系统，也需要熟练掌握Linux命令。因 ...
分类：
编程语言 时间：
2018-12-24 22:35:30
阅读次数：
226
str_to_map(字符串参数, 分隔符1, 分隔符2) 使用两个分隔符将文本拆分为键值对。 分隔符1将文本分成K-V对，分隔符2分割每个K-V对。对于分隔符1默认分隔符是 ','，对于分隔符2默认分隔符是 '='。 例子： 1. 创建map字段 2. concat + str_to_map函数 ...
分类：
其他好文 时间：
2018-12-24 16:34:39
阅读次数：
485
[dip@dip003 ~]$ hadoop distcp -update /user/hive/warehouse/cslc.db/ hdfs://172.26.xx.xx:8020/user/hive/warehouse/cslc.db/18/12/24 10:27:06 ERROR tools ...
分类：
其他好文 时间：
2018-12-24 11:17:30
阅读次数：
622
环境: hadoop-2.7.5 sqoop-1.4.7 zookeeper-3.4.10 hive-2.3.3 (使用mysql配置元数据库) jdk1.8.0_151 oracle 11.2.0.3.0 经过一番baidu,总算初步成功,现在记录一下中间过程. 1.拷贝hive/conf/hiv ...
分类：
数据库 时间：
2018-12-24 03:01:23
阅读次数：
232
Hive支持的存储数据的格式主要有：TEXTFILE 、SEQUENCEFILE、ORC、PARQUET 一. 列式存储和行式存储 左边为逻辑表，右边第一个为行式存储，第二个为列式存储 1. 行式存储的特点 查询满足条件的一整行数据的时候，列存储则需要去每个聚集的字段找到对应的每个列的值，行存储只需 ...
分类：
其他好文 时间：
2018-12-23 23:59:36
阅读次数：
343
本文介绍Linux安装RocketMQ。 1.RocketMQ简介 RocketMQ是阿里巴巴中间件开发的分布式消息系统，曾经经历过很多阿里巴巴大型项目的实际检验。在去年已经正式捐献给Apache开源基金会，成为孵化项目。今年正式升级成为了apache的顶级项目。 RocketMQ官网地址为： "h ...
分类：
系统相关 时间：
2018-12-23 23:51:03
阅读次数：
260
1. 两者分别是什么？ Apache Hive是一个构建在Hadoop基础设施之上的数据仓库。通过Hive可以使用HQL语言查询存放在HDFS上的数据。HQL是一种类SQL语言，这种语言最终被转化为Map/Reduce. 虽然Hive提供了SQL查询功能，但是Hive不能够进行交互查询--因为它只能 ...
分类：
其他好文 时间：
2018-12-23 22:15:11
阅读次数：
210
知识点： 格式转换：cast（xxx as int） 按某列分桶某列排序，排序后打标机；例如：求每个地区工资最高的那个人的信息； ROW_NUMBER() OVER(PARTITION BY COLUMN ORDER BY COLUMN) row_number() over(distribute b ...
分类：
其他好文 时间：
2018-12-22 21:58:33
阅读次数：
365
最近做了一个POC，目的是系统日志的收集和分析，此前有使用过splunk，虽然用户体验很好，但一是价格昂贵，二是不适合后期开发（splunk已经推出了SDK，后期开发已经变得非常容易）。在收集TB级别的日志量上flume-ng是更好的选择，因为后面的存储是扩展性极佳的HDFS。先简要介绍一下测试环境 ...
分类：
Web程序 时间：
2018-12-22 12:37:32
阅读次数：
246
