用此方法可能会出现 中文乱码问题，hdfs上的文件和自己期待存入的内容有差异。 可以在 jsonObject.toString().getBytes("") 处将我们的编码格式指定为： ...
分类：
其他好文 时间：
2019-03-18 14:01:14
阅读次数：
250
1.什么是Hadoop 管理网络中跨多台计算机存储的文件系统称为分布式文件系统面临的挑战：使文件系统能容忍节点故障且不丢失任何数据不适合的特点：低时间延迟的数据访问&大量的小文件&多用户写入，任意修改文件 2. HDFS的概念元数据hdfs的目录结构及每一个文件的块信息（块的ID,块的副本数量，块的 ...
分类：
其他好文 时间：
2019-03-16 09:39:18
阅读次数：
231
来源：https://blog.csdn.net/u011414200/article/details/50336735 一 非 HDFS HA 集群转换成 HA 集群二 HDFS 的 HA 自动切换命令1 获得当前 NameNode 的 active 和 standby 状态2 NameNode ...
分类：
其他好文 时间：
2019-03-16 00:26:23
阅读次数：
276
Hadoop是Apache软件基金会所开发的并行计算框架与分布式文件系统。最核心的模块包括Hadoop Common、HDFS与MapReduce。 HDFS HDFS是Hadoop分布式文件系统（Hadoop Distributed File System）的缩写，为分布式计算存储提供了底层支持。 ...
分类：
其他好文 时间：
2019-03-15 19:05:06
阅读次数：
151
1.实时插入mysql时遇到的问题，使用的updateStaeBykey有状态的算子 必须设置checkpoint 如果报错直接删掉checkpoint 在创建的时候自己保存偏移量即可 再次启动时读取正确偏移量就行了 管他checkpoint 无关的事了 实时插入时有个问题是怎么进行mysql的数据 ...
分类：
其他好文 时间：
2019-03-14 01:04:32
阅读次数：
152
通过API获取HDFS统计信息时报Access denied错误信息，错误信息如下： org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.AccessControlException): Access denied for... ...
分类：
数据库 时间：
2019-03-13 23:08:06
阅读次数：
329
项目地址 https://github.com/Alluxio/alluxio/tree/branch 2.0 preview 2.0版本 构思和设计 支持超大规模数据工作负载 Alluxio作为计算和存储之间的数据编排层，使数据移动并且可以跨多个不同的存储系统访问：HDFS，对象存储，网络附加存储 ...
分类：
其他好文 时间：
2019-03-12 21:20:18
阅读次数：
498
这是因为格式化namenode之后，namenode节点中VERSION的ClusterID会改变！！！ 解决办法： 1.打开namenode节点的hdfs-site.xml文件，查看你的namenode的元数据存储位置和datanode数据存储位置； 2.然后到对应的的目录下找到VERSION文件 ...
分类：
其他好文 时间：
2019-03-12 12:32:36
阅读次数：
197
String file = http://localhost:8888/upload/20190310/115111_58_592_HDFS读取文件的流程.png //截取文件名 String oriName = file .substring(file .lastIndexOf("_")+1);最... ...
分类：
编程语言 时间：
2019-03-11 00:55:02
阅读次数：
251
简介 hadoop解决问题： 海量数据的存储(HDFS) 海量数据的分析(MapReduce) 资源管理调度(YARN) 受Google三篇论文启发：GFS、MapReduce、BigTable Hadoop功能： 擅长海量离线日志分析 Hadoop如何解决海量数据的存储？ 若干被称为Datanod ...
分类：
其他好文 时间：
2019-03-10 11:13:06
阅读次数：
160
