最近的工作是利用Hive做数据仓库的ETL转换，大致方式是将ETL转换逻辑写在一个hsql文件中，脚本当中都是简单的SQL语句，不包含判断、循环等存储过程中才有的写法，仅仅支持一些简单的变量替换，比如当前账期等。然后通过一个通用的shell脚本来执行hsql文件。该脚本是主要是调用了hive -f ...
分类：
移动开发 时间：
2020-05-04 19:41:21
阅读次数：
296
下面记录下YARN的服务组件和提交流程的基础知识，主要参考文末博文，其中 提交流程部分直接引用 ，感谢被引用的博主 "PeTu" 。 YARN介绍 YARN是在Hadoop2.0引入的，它的出现是历史的产物。在Hadoop1.0版本时，有JobTracker和TaskTracker来完成资源调度和任 ...
分类：
其他好文 时间：
2020-05-04 19:18:43
阅读次数：
85
![](https://img2020.cnblogs.com/blog/1510490/202005/151049... ...
分类：
数据库 时间：
2020-05-04 15:10:25
阅读次数：
58
一、简介 Hadoop是使用Java编写，允许分布在集群，使用简单的编程模型的计算机大型数据集处理的Apache的开源框架。 解决的问题： （1）海量数据的存储 [HDFS] （2）海量数据的分析 [MapReduce] （3）资源管理调度 [YARN] 二、hadoop架构 在其核心，Hadoop ...
分类：
其他好文 时间：
2020-05-03 10:26:41
阅读次数：
66
可以用此插件：https://github.com/FranckFreiburger/http-vue-loader <script src="https://cdn.jsdelivr.net/npm/http-vue-loader@1.4.2/src/httpVueLoader.min.js">< ...
分类：
Web程序 时间：
2020-04-29 15:13:42
阅读次数：
72
Hadoop 2.x 集群安装，包括 HDFS 集群、Yarn 集群以及 MapReduce 的安装
分类：
其他好文 时间：
2020-04-29 10:44:59
阅读次数：
76
可重入函数 可重入函数：当前进程已经处于该函数中， 这时程序会允许当前进程的 某个执行流程再次进入该函数， 而不会引发问题。可重入函数一定是线程安全的，而线程安全函数则不一定是可重入函 数，很难说出哪些函数是可重入函数，但是可以很明显看出哪些函数是不可以重入的函数。例子：当函数使用锁的时候，尤其是互 ...
分类：
其他好文 时间：
2020-04-27 19:26:43
阅读次数：
55
注意是否是NAT模式 可以将 etc/sysconfig/network-script/ifcfg-** 的文件删掉 ，然后在虚拟网络编辑器还原一下设置重新分配ip 分配新的ip后之前的 yarn resourcemanager 启动不了了 需要 <property> <name>yarn.reso ...
分类：
其他好文 时间：
2020-04-27 11:17:17
阅读次数：
75
URL（Uniform Resource Locator，统一资源定位符） 是对可以从互联网上得到的资源位置和访问方法的一种简洁的表示，是互联网上标准资源的地址。互联网上的每个文件都有一个唯一的URL，用于指出文件的路径位置。简单地说，URL就是常说的网址，每个地址代表不同的网页，在Django中， ...
分类：
Web程序 时间：
2020-04-26 18:33:49
阅读次数：
86
一、使用npm安装 npm install -g yarn 二、查看yarn版本 yarn --version 三、配置淘宝源 yarn config set registry https://registry.npm.taobao.org -g yarn config set sass_binar ...
分类：
其他好文 时间：
2020-04-26 10:46:33
阅读次数：
68
