Hadoop概述: Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。 Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。H ...
分类:
其他好文 时间:
2020-05-09 23:07:57
阅读次数:
222
分布式版本控制系统(Distributed Version Control System,DVCS,像Git Mercurial Bazaar Darcs等,把代码仓库完整得镜像下来,包括完整的历史记录。任何一处协同工作用的服务器发生故障,事后都可以用任何一个镜像出来的本地仓库恢复。每一次克隆操作, ...
分类:
其他好文 时间:
2020-05-09 01:01:18
阅读次数:
55
一、背景接触talend也挺长一段时间了,在P&G项目中每天都是使用它开发job,做ETL,也看了前辈开发的很多ETL Job,学到不少。也接触了TAC(talend administration center),也发现了TAC的一些优点和不足。优点:1、TAC可以更好的界面化管理job、部署、HA... ...
分类:
其他好文 时间:
2020-05-08 23:13:07
阅读次数:
114
1.hive 创建内部表 CREATE TABLE emp( empno int, ename string, job string, mgr int, hiredate string, sal double, comm double, deptno int ) ROW FORMAT DELIMIT ...
分类:
其他好文 时间:
2020-05-08 18:33:15
阅读次数:
66
前言 我之前的工作中一直在用 Elastic Job 来做任务调度。这也是大家为什么能在我的书籍《Spring Cloud 微服务 入门 实战与进阶》中看到 Elastic Job 的章节。 从 2017 的 2.1.5 版本之后 Elastic Job 没再更新过。我们在做技术选型的时候,对框架的 ...
分类:
其他好文 时间:
2020-05-08 13:16:18
阅读次数:
77
使用hadoop job -list来列出当前hadoop正在执行的jobs 然后使用hadoop job -kill job_1546932571227_0082来杀死该job任务, 原文链接:https://blog.csdn.net/zhy_2117/java/article/details/ ...
分类:
其他好文 时间:
2020-05-07 19:48:36
阅读次数:
124
/var/run/mysqld/的属主和属组属于root,mysql并不能在其中创建文件 手动的新建目录 [root@iz2zei43l28m7vcezzzyyjz apache-tomcat-9.0.0]# mkdir -p /var/run/mysqld/ [root@iz2zei43l28m7 ...
分类:
数据库 时间:
2020-05-06 19:58:12
阅读次数:
99
采用rpc模式开发一个银行atm模拟系统。 系统主要提供一个服务Card,该服务接口可以提供登录、查询、取钱、存钱等功能。服务接口的设计和实现自定义。 项目地址:https://github.com/gcw0618/Distributed-Computation Atm客户端功能需求: 1、ATM可 ...
分类:
其他好文 时间:
2020-05-06 17:54:19
阅读次数:
73
文件系统 HDFS Hadoop Distributed File System,简称HDFS,是一个分布式文件系统。HDFS是一个高度容错性的系统,适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问,非常适合大规模数据集上的应用。 GlusterFS 是一个集群的文件系统,支持PB级的数据量 ...
分类:
其他好文 时间:
2020-05-05 18:09:27
阅读次数:
70