hdfs文件的相关操作主要使用hadoop fs、hadoop dfs、hdfs dfs 命令，以下对最常用的相关命令进行简要说明。hadoop fs -ls 显示当前目录结构，-ls -R 递归显示目录结构hadoop fs -mkdir 创建目录hadoop fs -rm 删除文件，-rm -R ...
分类：
其他好文 时间：
2020-04-10 00:20:12
阅读次数：
66
1。hadoop生态系统 2.Hadoop分布式文件系统 2.1 HDFS的设计 2.2 HDFS的概念 数据块 namenode和datanode HDFS的高可用性 2.3命令行接口 2.4hadoop文件系统 2.5通过Flume和sqoop导入数据 ...
分类：
其他好文 时间：
2020-04-09 15:30:24
阅读次数：
92
Zookeeper 我想大家都不陌生，在很多场合都听到它的名字。它是 Apache 的一个顶级项目，为分布式应用提供一致性高性能协调服务。可以用来做：配置维护、域名服务、分布式锁等。有很多开源组件，尤其是中间件领域，使用 Zookeeper 作为配置中心或者注册中心。它是 Hadoop 和 HBase 的重要组件，是 Kafka 的管理和协调服务，是 Dubbo 等服务框架的注册中心等。
分类：
其他好文 时间：
2020-04-09 11:05:58
阅读次数：
97
对现有数据体系整理优化的探索。 目前现有体系为生产数据库为ORACLE，分析平台数据库为基于HADOOP平台开发，两个平台并行运行。 基于业务要求，生产ORACLE按一定期限会删除数据，而分析平台则保存历史所有但是会做了脱敏处理，只满足分析使用，目前架构整理如下： ...
分类：
其他好文 时间：
2020-04-08 21:06:16
阅读次数：
137
在hive建表中，默认的分隔符为 ‘，’ ，可以指定想用的分隔符 hive默认的列分割类型为org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe，这其实就是^A分隔符，hive中默认使用^A(ctrl+A)作为列分割符，如果用户需要指定的话，等同于ro ...
分类：
其他好文 时间：
2020-04-08 11:40:18
阅读次数：
267
开发工具：Eclipse，三步1.新建一个项目2.把hbase安装下的lib的文件都拷贝进来3.把lib目录下jar文件都引入4.lib下的client-facing-thirdparty目录下的jar也都引入看图packagecom.yue;importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.hbase.;impo
分类：
编程语言 时间：
2020-04-08 09:36:19
阅读次数：
86
LINK： "1280: Emmy卖猪pigs" 非常奇怪的最大流..建图还是一如既往的难想 感觉以前做过这个东西 所以也不难想出来辣. 考虑一头猪给谁都行都会增加贡献 但是不同位置的猪进行不同位置的挑选会带来更大的代价 这就是选位置即匹配问题.所以考虑最大流. 顾客一个一个来 就一个一个建图 为什 ...
分类：
其他好文 时间：
2020-04-07 20:57:40
阅读次数：
80
大数据技术开篇之Hadoop入门【hdfs】 学习都是从了解到熟悉的过程，而学习一项新的技术的时候都是从这个技术是什么？可以干什么？怎么用？如何优化？这几点开始。今天这篇文章分为两个部分。一、hadoop概述 二、hadoop核心技术之一的hdfs的讲解。 【hadoop概述】 一、hadoop是什 ...
分类：
其他好文 时间：
2020-04-07 20:10:19
阅读次数：
61
1 package com.liuhuan; 2 3 import org.apache.hadoop.io.WritableComparable; 4 5 import java.io.DataInput; 6 import java.io.DataOutput; 7 import java.io ...
分类：
其他好文 时间：
2020-04-07 18:45:58
阅读次数：
102
[Toc] 一、初识大数据 大数据（BIG DATA），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产 1MB = 1024KB、1GB = 1024MB 1TB = 1024GB、 ...
分类：
其他好文 时间：
2020-04-07 14:19:05
阅读次数：
132
