大数据技术开篇之Hadoop入门【hdfs】 学习都是从了解到熟悉的过程，而学习一项新的技术的时候都是从这个技术是什么？可以干什么？怎么用？如何优化？这几点开始。今天这篇文章分为两个部分。一、hadoop概述 二、hadoop核心技术之一的hdfs的讲解。 【hadoop概述】 一、hadoop是什 ...
分类：
其他好文 时间：
2020-04-07 20:10:19
阅读次数：
61
1 package com.liuhuan; 2 3 import org.apache.hadoop.io.WritableComparable; 4 5 import java.io.DataInput; 6 import java.io.DataOutput; 7 import java.io ...
分类：
其他好文 时间：
2020-04-07 18:45:58
阅读次数：
102
[Toc] 一、初识大数据 大数据（BIG DATA），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产 1MB = 1024KB、1GB = 1024MB 1TB = 1024GB、 ...
分类：
其他好文 时间：
2020-04-07 14:19:05
阅读次数：
132
1.shell的操作命令 hdfs命令有两种风格：hadoop fs、hdfs dfs 两种命令均可使用，效果相同。 1）查看子命令 hadoop fs、hdfs dfs 2）如果查看hdfs或hadoop子命令信息 hdfs dfs -help shellCmd hadoop fs -help s ...
分类：
系统相关 时间：
2020-04-07 00:23:00
阅读次数：
155
hive、Hbase、mysql的区别 1、Hive和HBase的区别 1）hive是sql语言，通过数据库的方式来操作hdfs文件系统，为了简化编程，底层计算方式为mapreduce。 2）hive是面向行存储的数据库。 3）Hive本身不存储和计算数据，它完全依赖于HDFS和MapReduce， ...
分类：
数据库 时间：
2020-04-06 20:39:58
阅读次数：
71
一.背景 2003年，Google发表了“The Google File System”的论文。这个分布式文件系统简称GFS，它使用商用硬件集群存储海量数据。文件系统将数据在节点之间冗余复制，这样的话，即使一台存储服务器发生故障，也不会影响数据的可用性。它对数据的流式读取也做了优化，可以边处理边读取 ...
分类：
其他好文 时间：
2020-04-06 19:05:04
阅读次数：
94
Redis 概述 官网： "https://redis.io/" RDBMS：mysql、oracle、db2、sql server 两个方面：read & write NoSQL: HBase Redis ... 数据库 Redis 是一个高性能的 数据库 Redis诞生的业务场景 大负荷、大负载 ...
分类：
其他好文 时间：
2020-04-06 15:41:56
阅读次数：
66
前言： 之前有朋友加好友与我探讨一些问题，我觉得这些问题倒挺有价值的；于是就想在本公众号开设一个问答专栏，方便技术交流与分享，专栏名就定为： 《读者来信》 。如遇到本人能力有限难以解决的问题，我将转发该文至我的资源圈尽力寻求大佬们出手帮助，并附上提问者微信二维码，希望给大家提供这样一个互帮互助解决问 ...
分类：
其他好文 时间：
2020-04-06 12:10:46
阅读次数：
97
大数据安全系列的其它文章 https://www.cnblogs.com/bainianminguo/p/12548076.html 安装kerberos https://www.cnblogs.com/bainianminguo/p/12548334.html hadoop的kerberos认证 ...
分类：
其他好文 时间：
2020-04-06 00:21:08
阅读次数：
411
大数据安全系列的其它文章 https://www.cnblogs.com/bainianminguo/p/12548076.html 安装kerberos https://www.cnblogs.com/bainianminguo/p/12548334.html hadoop的kerberos认证 ...
分类：
其他好文 时间：
2020-04-06 00:05:43
阅读次数：
507
