一.大数据组件分类: 1.计算类: hadoop,spark,flink,hive 2.传输类:kafka,flume,redis 3.存储类:hbase,mongodb,Cassandra 4.调度类:zookeeper 5.配置类:mesos,yarn 二.流行的框架SMACK Spark Me ...
分类：
其他好文 时间：
2019-05-10 20:21:59
阅读次数：
160
（一）Hive 概述 （二）Hive在Hadoop生态圈中的位置 （三）Hive 架构设计 （四）Hive 的优点及应用场景 （五）Hive 的下载和安装部署 1.Hive 下载 Apache版本的Hive。 Cloudera版本的Hive。 这里选择下载Apache稳定版本apache-hive- ...
分类：
其他好文 时间：
2019-05-10 16:19:14
阅读次数：
177
Hadoop安装： 首先到官方下载官网的hadoop2.7.7,链接如下 https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/ 找网盘的hadooponwindows-master.zip 链接如下 https://pan.baidu. ...
set mapreduce.map.memory.mb = 4096; set mapreduce.reduce.memory.mb = 4096; ...
分类：
其他好文 时间：
2019-05-09 12:06:39
阅读次数：
131
#原始示例数据#1,k1|k2|k3|k1#2,k1|k1|k5|k3|k6#3,k3|k6|k7|k8#建表语句CREATE TABLE IF NOT EXISTS words(id INT,kw STRING)ROW FORMAT delimitedFIELDS TERMINATED BY ', ...
分类：
数据库 时间：
2019-05-09 10:56:16
阅读次数：
146
一、定义agent，并运行1、配置文件#计划##收集hive的日志，存到hdfs/opt/cdh-5.3.6/hive-0.13.1-cdh5.3.6/logs/hive.log命令：tail -f source：Exec source 在启动时运行一个给定的Unix命令，并期望该进程在标准输出上不... ...
分类：
其他好文 时间：
2019-05-08 14:44:10
阅读次数：
214
1.sqoop的概述a.sqoop 是一款工具，是appche 旗下的一款工具，主要是负责 hadoop与RDBMS之间的数据迁移，即从hadoop 文件系统 导出数据到RDBMS,从RDBMS导入数据到hadoop hdfs,hive,hbase等数据存储系统。b.其实就是将 sqoop命令转换成 ...
分类：
其他好文 时间：
2019-05-06 19:26:59
阅读次数：
129
一、校验数字的表达式 1. 数字：^[0-9]*$ 2. n位的数字：^\d{n}$ 3. 至少n位的数字：^\d{n,}$ 4. m-n位的数字：^\d{m,n}$ 5. 零和非零开头的数字：^(0|[1-9][0-9]*)$ 6. 非零开头的最多带两位小数的数字：^([1-9][0-9]*)+( ...
分类：
其他好文 时间：
2019-05-05 23:12:32
阅读次数：
122
xml文件的节点值获取和节点值设置 /// <summary> /// 保存单个点节点的值 /// </summary> /// <param name="UpNodeName">父级节点名称</param> /// <param name="NodeName">子节点名称</param> /// ...
分类：
其他好文 时间：
2019-05-05 18:13:36
阅读次数：
162
一、创建表并导入日志数据，引出问题##建表hive (default)> create table IF NOT EXISTS default.bf_log_src( > remote_addr string, > remote_user string, > time_local string, .... ...
分类：
其他好文 时间：
2019-05-05 18:00:11
阅读次数：
118
