从源头上解决，在上传到HDFS之前，就将多个小文件归档 使用tar命令 带上参数-zcvf 示例： tar -zcvf xxx.tar.gz 小文件列表 如果小文件已经上传到HDFS了，可以使用在线归档 使用hadoop archive命令 示例： hadoop archive -archiveNa ...
分类：
其他好文 时间：
2020-07-11 17:00:14
阅读次数：
76
1 kafka介绍 Kafka是一款性能非常好的并且支持分布式的消息队列中间件由于它的高吞吐特性，Kafka通常使用在大数据领域，如日志收集平台Kafka是一个流处理平台，因为它在工作中就像是一个可以支撑高吞吐量的管道，数据像水一样流进去，然后另外一端再去读取这些数据我们就可以把Kafka看作是一种 ...
分类：
其他好文 时间：
2020-07-11 13:02:34
阅读次数：
55
狭义：指IT基础设施的交付和使用模式，指通过网络以按需、易宽展的方式获得所需的IT基础设施。 狭义主要是指基础设施的交付和使用模式，比如云计算厂商通过分布式计算和虚拟化技术搭建数据中心或超级计算机，以免费或者按需租用的方式向技术开发者或者企业用户提供数据存储、分析以及科学计算等服务 广义：指服务的交 ...
分类：
其他好文 时间：
2020-07-11 12:27:33
阅读次数：
114
Hive数据仓库 Facebook由hive和Hadoop组建 hive由facebook开发的 存储HDFS，查询MapReduce 优势 解决了传统关系型数据库在大数据处理上的瓶颈。适合大数据批量处理 充分利用集群的CPU计算资源，存储资源，实现并行计算 Hive支持标准的SQL语法，免去了编写 ...
分类：
其他好文 时间：
2020-07-10 19:33:44
阅读次数：
77
cat hadoop-env.sh export HADOOP_OPTS="$HADOOP_OPTS -Duser.timezone=GMT+08" cat yarn-env.sh YARN_OPTS="$YARN_OPTS -Duser.timezone=GMT+08" cat hbase-env ...
分类：
其他好文 时间：
2020-07-10 19:26:31
阅读次数：
86
数据库是按照数据结构来组织、存储和管理数据的仓库。通俗理解，数据库被视为电子资料柜，用户可以线上对资料柜中的数据进行各种合法操作，如添加数据，更新数据，删除数据，截取数据等等。
分类：
数据库 时间：
2020-07-10 19:18:26
阅读次数：
192
#**TCP/IP地址配置#网络连通性测试**TCP/IP地址配置要求：为主机配置以下网络参数：1）IP地址192.168.1.2002）子网掩码255.255.255.03）网关192.168.1.2544）DNS114.114.114.1145）查看配置参数1.2方案使用1台Windows2008虚拟机，给其配置ip地址确保其可以正常的通信。1.3步骤实现此案例需要按照如下步骤进行。步骤一：为
分类：
其他好文 时间：
2020-07-10 17:08:44
阅读次数：
74
装机预备技能安装一台LINUX虚拟机使用LINUX图形桌面Linux命令行基本操作装机预备技能本例要求安装一台可用的KVM服务器：RHEL与CentOS系统有什么关联？Linux系统中第三块SCSI硬盘如何表示？1.2步骤实现此案例需要按照如下步骤进行。步骤一：RHEL系统与CentOS系统的渊源RHEL是红帽公司提供的商业版Linux系统，若要获取DVD镜像、安全更新等技术服务支持，一般需要付费
分类：
其他好文 时间：
2020-07-10 16:53:49
阅读次数：
91
需求背景 项目需要对接大数据平台,定时更新相关的统计数据 version SpringBoot: 2.2.4.RELEASE MySQL: 5.5.4 Quartz: 2.3.0 实现 导入数据库表 因为Quartz 集群依赖于数据库，所以必须首先创建Quartz数据库表。Quartz 包括了所有被 ...
分类：
编程语言 时间：
2020-07-10 15:14:54
阅读次数：
97
redis支持的数据类型：字符串（string）哈希表（hash）列表（list）集合（set）有序集合（zset）位图（bitmaps）HyperLoglogs、GEO等.redis特性如下：速度快：基于内存工作，使用离OS最近的C语言编写，使用单线程架构，预防了多线程可能产生的竞争问题。基于键值对的数据结构服务器：redis中的值不仅仅可以是字符串，关于其支持的数据类型已经在文章开头列出来了。
分类：
其他好文 时间：
2020-07-10 09:58:44
阅读次数：
60
