前言： 最近一段时间在学习nodejs编程，我们知道现在做软件项目主流是前后端分离操作。作为一个前端小白，为了实现一个人完成整个项目的心愿，用nodejs编写了后端代码，准备部署到阿里云服务器上，作为接口供前端使用。 操作目的： （1）熟悉阿里云服务器上安装的linux系统操作 （2）配置nodej ...
分类：
其他好文 时间：
2020-07-18 22:32:28
阅读次数：
112
在配置hadoop集群时，时间同步是必须要做的，否则会出现各种意想不到的问题。 hadoop102 为 ntp server，hadoop103以及hadoop104 为ntp client（即需要同步时间机器） 1.全部机器都要安装ntp以及ntpdate sudo apt-get install ...
分类：
系统相关 时间：
2020-07-18 16:09:18
阅读次数：
143
swap分区大小设置 阿里云的linux云服务器默认是没有启用swap分区（交换分区）的。一般情况下swapswap分区的大小可以参考以下规则进行设定： 内存大小 swap大小 MEM_SIZE ? 4G 最小2G 4G < MEM_SIZE ? 16G 最小4G 16G < MEM_SIZE ? ...
分类：
其他好文 时间：
2020-07-17 19:21:28
阅读次数：
68
swap分区大小设置 阿里云的linux云服务器默认是没有启用swap分区（交换分区）的。一般情况下swapswap分区的大小可以参考以下规则进行设定： 内存大小 swap大小 MEM_SIZE ? 4G 最小2G 4G < MEM_SIZE ? 16G 最小4G 16G < MEM_SIZE ? ...
分类：
其他好文 时间：
2020-07-17 16:13:28
阅读次数：
71
1.完成环境准备 a.开启hadoop服务 b.开启Mysql服务进入HIVE命令行界面 c.开启zookeeper服务 d.开启hbase服务进入命令行界面 ...
分类：
其他好文 时间：
2020-07-17 11:26:18
阅读次数：
54
1 InputFormat数据输入 1.1 切片与MapTask并行度决定机制 1．问题引出 MapTask的并行度决定Map阶段的任务处理并发度，进而影响到整个Job的处理速度。 思考：1G的数据，启动8个MapTask，可以提高集群的并发处理能力。那么1K的数据，也启动8个MapTask，会提高 ...
分类：
其他好文 时间：
2020-07-17 09:35:30
阅读次数：
65
1.5 CombineTextInputFormat案例实操 1．需求 将输入的大量小文件合并成一个切片统一处理。 （1）输入数据 准备4个小文件 （2）期望 期望一个切片处理4个文件 2．实现过程 （1）不做任何处理，运行1.6节的WordCount案例程序，观察切片个数为4。 （2）在Wordc ...
分类：
其他好文 时间：
2020-07-17 09:33:01
阅读次数：
73
Flume、Logstash、Filebeat对比 日志采集工具对比 1、Flume简介 Flume的设计宗旨是向Hadoop集群批量导入基于事件的海量数据。系统中最核心的角色是agent，Flume采集系统就是由一个个agent所连接起来形成。每一个agent相当于一个数据传递员，内部有三个组件： ...
分类：
Web程序 时间：
2020-07-15 23:42:18
阅读次数：
161
Hadoop原生的计算框架MapReduce，简单概括一下：进程量级很重，启动很慢，但能承载的数据量很大，效率相较于Spark微批处理和Flink实时来讲很慢，Shuffle任何一个写MR同学都必须掌握的东西，说难不难，说简单也不简单 MapReduce程序的五个阶段： input map shuf ...
分类：
其他好文 时间：
2020-07-15 15:53:30
阅读次数：
58
执行报错如下： 20/07/15 14:02:34 ERROR hive.HiveConfig: Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR is set correctly. 20/07/ ...
分类：
数据库 时间：
2020-07-15 15:29:36
阅读次数：
88
