把RDD写入到文本文件中 分布式文件系统HDFS的数据读写 JSON文件数据读写 （注scala 2.11.8运行不了） ...
分类：
其他好文 时间：
2020-03-10 21:53:58
阅读次数：
76
HDFS的定义？ Hadoop分布式文件管理系统。旨在对不同系统上的文件进行统一的管理。它是一个文件系统，用于存储文件，通过目录树来定位文件，其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。 使用场景？ 适合一次写入，多次读出的场景，且不支持文件的修改，适合用来做数据 ...
分类：
其他好文 时间：
2020-03-10 11:56:30
阅读次数：
66
Fap简介它一个企业级应用的快速开发平台。包含了所有企业级应用开发所需要的所有基础模块。可以使您更关注于业务的开发。github 基础模块主要包含的基础模块有：用户管理，角色管理，菜单管理，权限管理，组织管理，员工管理，流程引擎，报表引擎，任务调度，字典管理，多语言管理，元数据管理等。 公共组件1、 ...
分类：
Web程序 时间：
2020-03-09 13:17:23
阅读次数：
83
1、访问地址 http://192.168.0.123:8080/dfshealth.html#tab-overview 2、浏览文件 ...
分类：
Web程序 时间：
2020-03-07 12:39:43
阅读次数：
92
MapReduce 基于HDFS 1.环境搭建起来 伪分布式2.MapReduce是基于HDFS之上的 MapReduce计算的内容应该是HDFS上的文件/文件夹3.计算=>统计=>Mapper阶段=>Reduce阶段 MapReduce的编程模型4.Mapper类 继承Mapper类 重写Mapp ...
分类：
其他好文 时间：
2020-03-07 00:12:42
阅读次数：
69
先对数据分个类企业数据管理的内容及范畴通常包括交易数据、主数据以及元数据。（1）交易数据：用于纪录业务事件，如客户的订单，投诉记录，客服申请等，它往往用于描述在某一个时间点上业务系统发生的行为。（2）主数据：主数据则定义企业核心业务对象，如客户、产品、地址等，与交易流水信息不同，主数据一旦被记录到数据库中，需要经常对其进行维护，从而确保其时效性和准确性；主数据还包括关系数据，用以描述主数据之间的关
分类：
其他好文 时间：
2020-03-05 19:24:21
阅读次数：
185
关闭虚拟机之后重启hadoop，想要用删除之前在hdfs运行的output文件，显示： hadoop之Name node is in safe mode 处理方法： bin/hadoop dfsadmin -safemode leave ...
分类：
其他好文 时间：
2020-03-05 15:26:59
阅读次数：
67
运用MapReduce来统计一个文章的重复的字数 1.准备一篇文章，并且上传到hdfs 注意编码是要utf 8 这样上传到liunx上面才不会乱码 先上传到linux ：rz 在上传到hdfs ：hadoop fs put 琵琶行.txt / 2.写MapReduce程序 MapReduce基于ya ...
分类：
其他好文 时间：
2020-03-05 00:59:47
阅读次数：
69
HDFS的热备份 其实现原理就是在联邦HDFS下，每两个NameNode形成一组。这组NameNode一个状态为Active一个状态为StandBy，通过ZooKeeper进行管理。 Active和StandBy之间可以进行通信。当其中Active的NameNode出故障的时候。会通过ssh或者sh ...
分类：
其他好文 时间：
2020-03-04 09:41:47
阅读次数：
74
短URL设计。案例： Rate Limit 流量限制编程语言太多。Go语言。Python动态语言。类型没有检查。随意改变类。 Spring : 反转。数据流： 分布式。Storage: HDFS,MySQL cloud Platform amazon google 流量大了怎么弄？ consiste ...
分类：
其他好文 时间：
2020-03-04 09:31:03
阅读次数：
81
