String file = http://localhost:8888/upload/20190310/115111_58_592_HDFS读取文件的流程.png //截取文件名 String oriName = file .substring(file .lastIndexOf("_")+1);最... ...
分类：
编程语言 时间：
2019-03-11 00:55:02
阅读次数：
251
本文由云+社区发表 作者：皮皮熊 概述 Apache Flume是一个用于高效地从大量异构数据源收集、聚合、传输到一个集中式数据存储的分布式、高可靠、高可用的系统。 Apache Flume是Apache基金会的顶级项目。现在有两个代码版本线可以获取:0.9.x和1.x。本文档对应的是1.x版本。 ...
分类：
Web程序 时间：
2019-03-01 12:20:58
阅读次数：
190
刚启动完hadoop的时候,hadoop会进入安全模式,此时不能对hdfs进行上传,修改,删除文件的操作。 hadoop dfsadmin -safemode get 命令是用来查看当前hadoop安全模式的开关状态 hadoop dfsadmin -safemode enter 命令是打开安全模式 ...
分类：
其他好文 时间：
2019-02-25 18:10:15
阅读次数：
161
Zookeeper在Hadoop的HA中的应用 非HA的弊端： HDFS集群的分布式存储是靠namenode节点（namenode负责响应客户端请求）来实现。在非HA集群中一旦namenode宕机，虽然元数据不会丢失，但整个集群将无法对外提供服务，导致HDFS服务的可靠性不高，这在实际应用场景中显然 ...
分类：
其他好文 时间：
2019-02-22 23:17:22
阅读次数：
178
翻译自官网flume1.8用户指南，原文地址：Flume 1.8.0 User Guide 一、 介绍 1. 概述 Apache Flume 是收集、汇总和移动大数据量的不同数据源到集中的数据仓库的分布式的、可靠的、可用的系统。 使用flume 不仅仅可以做日志收集。自从数据源可自定义，flume可 ...
分类：
Web程序 时间：
2019-01-28 17:41:31
阅读次数：
262
reference: http://dblab.xmu.edu.cn/blog/install-hbase/ we need to set hdfs dfs.replication=3 start hbase normal, we can find it in hdfs web page. ...
分类：
其他好文 时间：
2019-01-28 00:46:22
阅读次数：
212
kudu 1.7 官方：https://kudu.apache.org/ 一 简介 kudu有很多概念，有分布式文件系统（HDFS），有一致性算法（Zookeeper），有Table（Hive Table），有Tablet（Hive Table Partition），有列式存储（Parquet），有 ...
分类：
其他好文 时间：
2019-01-21 13:46:36
阅读次数：
110
第1章 课程导学介绍课程相关背景，学习建议等等第2章 初识实时流处理StormStorm作为近几年Hadoop生态圈很火爆的大数据实时流处理框架，是成为大数据研发工程师必备的技能之一。 本章将从如下几个方面让大家对于Storm有宏观上的认识：什么是Storm、Storm的发展史、Storm对比Had ...
分类：
其他好文 时间：
2019-01-20 00:11:20
阅读次数：
267
1. 设计并实现large scale， distributed deep learning inference platform API Server, CLI (FLask, Mysql) 1. 2. 接入公司CAS，实现用户鉴权 (CAS SSO) 3. ModelZoo (Flask, OS ...
分类：
其他好文 时间：
2019-01-18 10:14:53
阅读次数：
204
1 建表 2 创建一个student.txt 添加数据 3 上传 hdfs dfs -put student.txt /user/hive/warehouse/student 4 select * from student; 5 通常不会通过put方式加载数据，而是通过load的方式添加数据 loa ...
分类：
其他好文 时间：
2019-01-15 22:03:19
阅读次数：
225
