1 Hadoop 源码编译支持 Snappy 压缩 1.1 资源准备 1．CentOS 联网 配置 CentOS 能连接外网。Linux 虚拟机 ping www.baidu.com 是畅通的 注意：采用 root 角色编译，减少文件夹权限出现问题 2．jar 包准备(hadoop 源码、JDK8 ...
分类：
其他好文 时间：
2020-07-23 22:32:44
阅读次数：
73
数据 ROW COLUMN+CELL 1001 column=info:name, timestamp=1502368030841, value=张三 1001 column=info:age, timestamp=1502368069926, value=18 1001 column=info:s ...
分类：
Web程序 时间：
2020-07-23 01:46:26
阅读次数：
108
namenode1 namenode2 datanode zk zkfc jnn node0001 * * * node0002 * * * * * node0003 * * * node0004 * * 1，两个namenode节点相互免密钥，以完成主备切换 node0002:cd .ssh ss ...
分类：
其他好文 时间：
2020-07-23 01:34:21
阅读次数：
110
1.-help : 输出这个命令的相关参数用法 hadoop fs -help rm (删除的相关用法) 2.-ls : 显示目录信息 hadoop fs -ls / 递归查看 hadoop fs -ls -R / 3.-mkdir: 在hdfs上创建目录 hadoop fs -mkdir -p / ...
分类：
其他好文 时间：
2020-07-22 21:02:50
阅读次数：
82
1 数据导入 1.1 向表中装载数据（Load） 1．语法 hive> load data [local] inpath '/opt/module/datas/student.txt' [overwrite] into table student [partition (partcol1=val1, ...
分类：
其他好文 时间：
2020-07-22 20:27:55
阅读次数：
71
1，hive架构 1）client，客户端 2）Driver：驱动器 3）解析器，编译器，优化器，执行器 4）底层默认使用mr作为数据处理引擎 5）元数据，通常配置mysql来存储，这样支持多个客户端的访问 2，hive和传统数据库的比较 相同之处：都拥有类似的查询语言 不同之处： 1）数据存储位置 ...
分类：
其他好文 时间：
2020-07-21 22:25:52
阅读次数：
76
引用的jar包(maven) <properties> <java.version>1.8</java.version> <ch.qos.logback.version>1.2.3</ch.qos.logback.version> <sharding-sphere.version>4.1.1</sh ...
分类：
编程语言 时间：
2020-07-21 21:58:23
阅读次数：
74
Hadoop - hdfs dfs常用命令的使用 用法 1，-mkdir 创建目录Usage：hdfs dfs -mkdir [-p] < paths>选项：-p很像Unix mkdir -p，沿路径创建父目录。 2，-ls 查看目录下内容，包括文件名，权限，所有者，大小和修改时间Usage：hdf ...
分类：
其他好文 时间：
2020-07-21 21:48:33
阅读次数：
80
1.虚拟机（hadoop11）中的hadoop如是第一次启动，则需要格式化namenode 命令: hadoop namenode -format 注意：如之前有安装过，则需要删除配置文件core-site.xml里的hadoop.tmp.dir的存储目录及日志文件夹 2.在hadoop11上启动n ...
分类：
其他好文 时间：
2020-07-21 21:36:10
阅读次数：
66
1．需求 某分布式系统中，主节点可以有多台，可以动态上下线，任意一台客户端都能实时感知到主节点服务器的上下线。 2．需求分析，如图 5-12 所示 3．具体实现 （0）先在集群上创建/servers 节点 [zk: localhost:2181(CONNECTED) 10] create /serv ...
分类：
其他好文 时间：
2020-07-21 14:07:54
阅读次数：
68
