HBase用途： 基于Hadoop Distributed File System，是一个开源的，基于列存储模型的分布式数据库。HBase简介： HBase是一个分布式的、多版本的、面向列的开源数据库 1）利用Hadoop HDFS作为其文件存储系统，提供高可靠性、高性能、列存储、可伸缩、实时读写的 ...
分类：
其他好文 时间：
2019-10-10 00:04:15
阅读次数：
135
一、概述 1. sqoop是Apache 提供的工具，用于hdfs和关系型数据库之间数据的导入和导入 2.可以从hdfs导出数据到关系型数据库，也可以从关系型数据库导入数据到hdfs 二、实现步骤 1. 准备sqoop安装包，官网地址：http://sqoop.apache.org 2. 配置jdk ...
分类：
其他好文 时间：
2019-10-09 19:38:03
阅读次数：
122
1 //文件名更改 2 @Test 3 public void testRename() throws IOException, InterruptedException, URISyntaxException { 4 5 //获取文件系统 6 Configuration configuration... ...
分类：
其他好文 时间：
2019-10-08 16:09:32
阅读次数：
225
一、命令行接口 默认操作的是hdfs hadoop dfsadmin -safemode leave/enter 离开或进入安全模式 hadoop fs -copyFromLocal localfrom hdfsdest 从本地文件系统复制文件到hdfs hadoop fs -ls 可以通过指定UR ...
分类：
其他好文 时间：
2019-10-07 21:34:37
阅读次数：
97
hbase的读写过程: hbase的架构: Hbase真实数据hbase真实数据存储在hdfs上，通过配置文件的hbase.rootdir属性可知，文件在/user/hbase/下hdfs dfs -ls /user/hbaseFound 8 itemsdrwxr-xr-x - root super ...
分类：
其他好文 时间：
2019-10-06 23:22:20
阅读次数：
178
hadoop是什么？ hadoop是一个由Apache基金会所开发的分布式系统基础架构，hdfs分布式文件存储、MapReduce并行计算。主要是用来解决海量数据的存储和海量数据的分析计算问题，这是狭义上的hadoop。广义上来讲，hadoop通常指的是一个更广泛的概念 hadoop生态圈 hado ...
分类：
其他好文 时间：
2019-10-05 20:12:34
阅读次数：
220
一、绪论 【因为这篇心得是原创的，所以如果有哪处总结或者意见不足的地方，欢迎各位大神的批评和意见，共同学习，谢谢了！】 早些时候，需要在centos6.4系统中配置单机版和集群版单节点的hadoop HDFS，由于那时候一边跟老师学hadoop一边自学Linux。初学的自己懂得也不多，别人都用普通用 ...
分类：
其他好文 时间：
2019-10-04 22:41:23
阅读次数：
199
当今互联网已进入大数据时代，大数据技术已广泛应用于金融、医疗、教育、电信、政府等领域。各行各业每天都在产生大量的数据，数据计量单位已从B、KB、MB、GB、TB发展到PB、EB、ZB、YB甚至BB、NB、DB。预计未来几年，全球数据将呈爆炸式增长。谷歌、阿里巴巴、百度、京东等互联网公司都急需掌握大数 ...
分类：
其他好文 时间：
2019-10-02 13:07:34
阅读次数：
99
spark 简介 建议先阅读我的博客 大数据基础架构 spark 一个通用的计算引擎，专门为大规模数据处理而设计，与 mapreduce 类似，不同的是，mapreduce 把中间结果 写入 hdfs，而 spark 直接写入 内存，这使得它能够实现实时计算。 spark 由 scala 语言开发， ...
分类：
其他好文 时间：
2019-10-02 12:51:02
阅读次数：
1950
