初始化Centos7vi /etc/sysconfig/network-scripts/ifcfg-ens33DEVICE=ens33TYPE=EthernetONBOOT=yesNM_CONTROLLED=yesBOOTPROTO=staticIPADDR=192.168.3.131GATEWAY ...
分类：
其他好文 时间：
2019-11-18 12:52:33
阅读次数：
64
参考文献：http://docs.h5py.org/en/latest/high/dataset.html h5py文件存放数据集（dataset）和组（group）。 dataset类似数组类的数据集合，和numpy的数组差不多。 group是像文件夹一样的容器，它好比python中的字典，有键( ...
分类：
其他好文 时间：
2019-11-16 10:28:03
阅读次数：
78
阿里文档: EMR里可以通过 Ranger组件来实现https://help.aliyun.com/document_detail/66410.html?spm=a2c4g.11186623.3.4.1a685b78iZGjgK 4.AWS S3迁移到阿里OSShttps://help.aliyun ...
分类：
其他好文 时间：
2019-11-09 19:19:18
阅读次数：
192
启动hadoop 在浏览器中打开localhost:50070 找到 进入 操作 1）新建文件夹 在根目录下新建msq文件夹 查看 2）本地上传文件 将media/sf_gx(我的共享文件夹的位置)/1.txt 上传到/msq下 查看 3）查看文档 查看/msq/1.txt 4)下载到本地 将/ms ...
分类：
其他好文 时间：
2019-11-02 13:42:24
阅读次数：
111
Yarn概述 Yarn基本架构 Yarn工作机制 资源调度器 1．先进先出调度器（FIFO） 2．容量调度器（Capacity Scheduler） 3．公平调度器（Fair Scheduler） ...
分类：
其他好文 时间：
2019-10-29 23:49:14
阅读次数：
99
HDFS开发 HDFS理论讲解 集群和分布式概念 集群：集群就是逻辑上处理统一任务的机器集合，可以属于同一机房，也可以分属不同的机房 分布式：分布式文件系统把文件分布存储到多个计算机节点上，成千上万的计算机节点构成计算机集群 分布式文件系统的结构 主节点 名称节点 数据节点 HDFS架构 块 HDF ...
分类：
其他好文 时间：
2019-10-29 10:00:45
阅读次数：
85
Mac下使用IDEA远程连接Hadoop调试MapReduce程序，参考网上博客，总会出现如题报错，下面是我在mac下的一种解决办法，可以参考。 前期准备 如果想远程调试，需要做一些准备工作，简单罗列下。 （1）在本地准备一份了hadoop(有博主直接从集群中copy一份)，设置环境变量。 （2）I ...
分类：
系统相关 时间：
2019-10-24 09:45:58
阅读次数：
126
背景：进入第一家公司已经工作将近两年了，其中闲了一年，在准备自己的简历的时候，有种江郎才尽的感觉，不知道怎么写，看来平时还是要多积累多熟悉。 PS：这里面的分享看完还是很受用的。 简历看得比较认真的，也不会多于30秒，实在纠结的，也不会纠结多余1分钟。目前来说，大部分都是网站式的录入简历，基本上都是 ...
分类：
编程语言 时间：
2019-10-20 00:42:26
阅读次数：
125
序列化问题多事rdd遍历过程中使用了没有序列化的对象。 1.将未序列化的变量定义到rdd遍历内部。如定义入数据库连接池。 2.常量定义里包含了未序列化对象 ，提出去吧 如下常量要放到main里，不能放到rdd的遍历中。 ...
分类：
编程语言 时间：
2019-10-18 18:57:19
阅读次数：
132
datax DataX 是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。 Github项目链接： "Github datax" 简介参考： "CNSD datax简介" ...
分类：
其他好文 时间：
2019-10-15 10:05:37
阅读次数：
86
