序列化问题多事rdd遍历过程中使用了没有序列化的对象。 1.将未序列化的变量定义到rdd遍历内部。如定义入数据库连接池。 2.常量定义里包含了未序列化对象 ，提出去吧 如下常量要放到main里，不能放到rdd的遍历中。 ...
分类：
编程语言 时间：
2019-10-18 18:57:19
阅读次数：
132
[TOC]一、fsimage和edits文件1、基本概念txid：namenode对每个操作事件（增删改操作）都给了一个唯一的id标识，称为txid，一般是从0开始自增，每多一个操作，txid就自增1。fsimage：是namenode在内存中的元数据在本地磁盘的一个镜像文件，但是通常情况fsimage并没有包含自新的操作事件，所以本质上和内存中元数据还是有差距的。这里记录的不是操作日志，其中包含
分类：
其他好文 时间：
2019-10-16 23:06:53
阅读次数：
159
datax DataX 是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。 Github项目链接： "Github datax" 简介参考： "CNSD datax简介" ...
分类：
其他好文 时间：
2019-10-15 10:05:37
阅读次数：
86
一、前言 个人感觉学习Flink其实最不应该错过的博文是Flink社区的博文系列，里面的文章是不会让人失望的。强烈安利：https://ververica.cn/developers-resources/。 本文是自己第一次尝试写源码阅读的文章，会努力将原理和源码实现流程结合起来。文中有几个点目前也 ...
分类：
其他好文 时间：
2019-10-15 09:54:49
阅读次数：
571
一、基本api操作1、获取HDFS对象的两种方式：方式1：publicstaticFileSysteminitFileSystem1()throwsIOException{//获取配置对象Configurationconf=newConfiguration();//指定namenode地址conf.set("fs.defaultFS","hdfs://bigdata121:9000");//获取h
一、HDFS权限问题：默认情况下，HDFS的权限认证是开启的，通过在hdfs-site.xml中设置dfs.permissions为true或者false来开启、关闭。所以当客户端进入hdfs的用户没有权限时，是无法对hdfs进行操作的。这时候可通过下面几种方式绕开认证。1、在java代码中设置hadoop用户为rootSystem.setProperty("HADOOP_USER_NAME","
分类：
其他好文 时间：
2019-10-14 14:36:23
阅读次数：
132
[TOC]一、HDFS体系组成概述这是一个分布式文件系统，适用于于一次写入多次读取的场景。包含以下角色：NameNode(nn)：存储文件的元数据，如文件名、文件目录结构，文件属性等，以及每个文件的块列表和块所在的DataNode等。以及响应客户端对hdfs的读写操作,如创建目录、上传文件等。还有保存读写日志。DataNode(dn)：在本地文件系统中存储文件块数据，以及块数据的校验和Second
分类：
其他好文 时间：
2019-10-14 13:04:16
阅读次数：
120
1. HBase基本介绍 a. 介绍 Hbase是一个nosql的列式存储的数据库。实际来源于Google发表的论文bigtable。构建在hdfs基础之上。 b. Hbase的特点 2. Hbase和hadoop的关系 a. hdfs b. Hbase 总结：紧耦合关系，Hbase依赖于hdfs ...
分类：
其他好文 时间：
2019-10-14 01:39:31
阅读次数：
120
package project.etl.core.util; import java.io.FileNotFoundException;import java.io.IOException; import org.apache.hadoop.conf.Configuration;import org ...
分类：
编程语言 时间：
2019-10-13 12:52:49
阅读次数：
78
配置hadoop环境 配置flume环境 配置flume文件 D:\Soft\apache-flume-1.8.0-bin\conf 将 flume-conf.properties.template 重新命名为 hdfs.properties # 组装 agenta1.sources = s1a1. ...
分类：
Web程序 时间：
2019-10-12 11:26:24
阅读次数：
252
