一、基本api操作1、获取HDFS对象的两种方式：方式1：publicstaticFileSysteminitFileSystem1()throwsIOException{//获取配置对象Configurationconf=newConfiguration();//指定namenode地址conf.set("fs.defaultFS","hdfs://bigdata121:9000");//获取h
[TOC]一、HDFS体系组成概述这是一个分布式文件系统，适用于于一次写入多次读取的场景。包含以下角色：NameNode(nn)：存储文件的元数据，如文件名、文件目录结构，文件属性等，以及每个文件的块列表和块所在的DataNode等。以及响应客户端对hdfs的读写操作,如创建目录、上传文件等。还有保存读写日志。DataNode(dn)：在本地文件系统中存储文件块数据，以及块数据的校验和Second
分类：
其他好文 时间：
2019-10-14 13:04:16
阅读次数：
120
MongoDB 升级测试步骤：1、MongoDB版本升级顺序3.2->3.4->3.6->4.0 不能跨版本升级2、升级到3.4后，您不能降级到3.2.7或更早版本。您只能降级到3.2.8或更高版本3、先升级所有副本集中的Secondary4、将Primary节点降级为Secondary节点5、升级 ...
分类：
数据库 时间：
2019-10-10 22:24:06
阅读次数：
121
hadoop是什么？ hadoop是一个由Apache基金会所开发的分布式系统基础架构，hdfs分布式文件存储、MapReduce并行计算。主要是用来解决海量数据的存储和海量数据的分析计算问题，这是狭义上的hadoop。广义上来讲，hadoop通常指的是一个更广泛的概念 hadoop生态圈 hado ...
分类：
其他好文 时间：
2019-10-05 20:12:34
阅读次数：
220
这个很简单的哇~ 格式化namenode之后就会给namenode的ClusterId重新生成，导致与datanode中的ClusterId不一致而无法启动datanode 解决方法： 进入hadoop/dfs/data/current 找到version文件 进入hadoop/dfs/name/c ...
分类：
其他好文 时间：
2019-10-05 18:38:36
阅读次数：
75
DynamoDB 支持两种类型的二级索引： Global secondary index — 其分区键和排序键可以与基表上的分区键和排序键不同的索引。全局二级索引被视为“全局”，是因为对索引执行的查询可以跨基表中所有分区的所有数据。 本地二级索引 — 分区键与基表相同、但排序键不同的索引。local ...
分类：
数据库 时间：
2019-10-04 00:14:55
阅读次数：
153
数据库的索引分为主键索引（Primary Index）与普通索引（Secondary Index）。InnoDB和MyISAM是怎么利用B+树来实现这两类索引的，又有什么差异呢？一、MyISAM的索引MyISAM的索引与行记录是分开存储的，叫做非聚集索引（UnClustered Index）。其主键 ...
分类：
数据库 时间：
2019-10-02 20:30:42
阅读次数：
105
一、表关系 注意：要自己创建第三张表 二、操作数据 ...
分类：
数据库 时间：
2019-10-02 19:14:01
阅读次数：
104
“ 现在，和往常一样，一些有先见之明的学者看到了这一天会再次到来，他们把这次全新的媒体中世纪化过程命名为“第二次口口相传”（Secondary Orality）和“古登堡右括号”（the Gutenberg Parenthesis，因为古登堡打开了文字纪元的左括号，赋予全社会读写能力，而扎克伯格的F ...
分类：
其他好文 时间：
2019-10-01 18:08:37
阅读次数：
163
海量数据处理 分而治之 核心思想： 把数据分发到多个节点 移动计算到数据附近 计算节点进行本地数据处理 优选顺序，次之随机读 一、HDFS概述 修改，先删除，再重新生成 1.架构 namenode维护着HDFS中存储的文件的元数据，以及每个文件块的列表，以及块所在datanode的信息。nameno ...
分类：
其他好文 时间：
2019-09-22 16:41:19
阅读次数：
92
