使用idea操作HDFS、创建文件、上传文件、获取块信息、下载文件 1.搭建maven工程 2.pom依赖 <!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-common --> <dependency> <groupI ...
分类：
其他好文 时间：
2020-12-09 12:24:14
阅读次数：
6
一、hive用本地文件进行词频统计 1.准备本地txt文件 mkdir wc cd wc echo "hadoop hbase" > f1.txt echo "hadoop hive" > f2.txt 2.启动hadoop，启动hive start-all.sh hive 3.创建数据库，创建文本 ...
分类：
其他好文 时间：
2020-12-09 12:15:14
阅读次数：
5
1方案介绍大数据处理技术现今已广泛应用于各个行业，为业务解决海量存储和海量分析的需求。但数据量的爆发式增长，对数据处理能力提出了更大的挑战，同时对时效性也提出了更高的要求。实时分析已成为企业大数据分析中最关键的术语，这意味企业可将所有数据用于大数据实时分析，实现在数据接受同时即刻为企业生成分析报告，从而在第一时间作出市场判断与决策。典型的场景如电商大促和金融风控等，基于延迟数据的分析结果已经失去了
分类：
其他好文 时间：
2020-12-07 12:19:18
阅读次数：
6
?进行数据分析的时候，我们会根据分析的数据内容选择合适的图表来进行数据可视化分析和展示，对较大数据进行汇总分析时，我们常常会用到数据透视表，但是，excel里做数据透视表很复杂，总是记不了步骤，也经常点错，每次使用都得重头做一遍。是否有什么软件可以拖拖拽拽，快速制作数据透视表？有！就是Smartbi ...
分类：
其他好文 时间：
2020-12-07 12:00:40
阅读次数：
4
前言 一般而言，在云计算商那里“租”了一台服务器之后，我一般会选择CentOS 7 系统，所以这篇文章，就以CentOS为例(似乎有一点标题党的嫌疑？ 基本不会介绍BBR的原理，需要详细了解，可以访问research，我技术并不够优秀，很难解释清楚，还请见谅！ 先讲讲BBR吧！Wiki百科给出的解释 ...
分类：
系统相关 时间：
2020-12-05 11:09:22
阅读次数：
10
前言 在本机模拟器的ubuntu18版本上进行的部署测试，参考的官方文档： hadoop: 链接地址 hive: 链接地址 使用的版本： hadoop: 3.2.1 hive: 3.1.2 全程是使用root账号进行的配置。 hadoop安装配置 hadoop使用的是虚拟集群，即单机模拟集群，dat ...
分类：
其他好文 时间：
2020-12-05 10:52:38
阅读次数：
7
进行大规模云迁移的挑战和建议 许多企业正在迅速将工作负载迁移到云中，以便从公共云可以为客户提供的规模经济中受益。 如今，许多企业正在以某种形式采用云计算服务。尽管某些行业(如零售业)迅速采用云计算技术，但由于众多合规性和法规要求，诸如金融服务等行业厂商迁移到云平台比较缓慢。很多企业正在寻求将运行在传 ...
分类：
其他好文 时间：
2020-12-04 11:32:27
阅读次数：
5
按位使用数据以及union 例如：typedef union tagData{ long x:2; long y:4; long data;}data_item,*pdata_item; 上述是一个联合体，联合体的对象用的空间是类型中占用内存最大的哪个，例如上例中data_item变量占用4个字节。 ...
分类：
其他好文 时间：
2020-12-04 11:18:07
阅读次数：
7
什么是Hive？ Hive：由Facebook开源用于解决海量结构化日志的数据统计工具。 Hive 是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。 本质是：将SQL转化成MapReduce程序。 1、Hive 处理的数据存储在HDFS； 2、Hiv ...
分类：
其他好文 时间：
2020-12-03 11:43:46
阅读次数：
3
HBase读写流程 在网上找了一张图，这个画的比较简单，就拿这个图来说吧。 写流程 1.当Client发起一个Put请求时，首先访问Zookeeper获取hbase:meta表。 2.从hbase:meta表查询即将写入数据的Region位置。 3.Client向目标RegionServer发出写命 ...
分类：
其他好文 时间：
2020-12-02 12:39:17
阅读次数：
7
