一.说明 将Apache NiFi做为关系型数据与非关系型数据库的数据同步工具使用，在此场景中需要将mysql导出的avro数据格式转化为json入库HBase 二.开拔 Ⅰ).配置ExecuteSQLRecord a).选择ExecuteSQLRecord b).配置ExecuteSQLRecor ...
分类：
数据库 时间：
2020-01-04 18:52:42
阅读次数：
223
一.说明 在大数据平台的业务场景中，处理实时kafka数据流数据，以成为必要的能力；此篇将尝试通过Apache NiFi来接入Kafka数据然后处理后存储之HBase 二.开拔 Ⅰ).配置ConsumeKafka_0_10 a).选择ConsumeKafka_0_10 b).配置ConsumeKaf ...
分类：
Web程序 时间：
2020-01-04 18:52:05
阅读次数：
238
引子有人在某个专注SQL的公众号留言如下：这个留言触碰到一个非常敏感的问题：搞关系型数据库还有前途吗？现在都2020年了，区块链正火热，AI人才已经“过剩”，大数据都成了稀松平常的萝卜白菜，你却还在搞SQLServer?你还在搞SQL?原因最近10年，数据管理领域的变化可谓精彩纷呈。什么Hadoop,Spark，MemcacheDB,Redis,Vertica,HANA,Cassandra,Mon
分类：
数据库 时间：
2020-01-04 16:59:14
阅读次数：
113
一、软件工程师的软件工程知识技能水平高低主要体现在哪些方面 1.操作系统知识。操作系统知识是软件工程师必须具备的重要内容，Web开发领域可能会使用到Windows系列操作系统，大数据和物联网方向要使用到Linux系列操作系统，掌握操作系统的体系结构是进行软件研发的重要基础。 主要内容包括资源管理、任 ...
分类：
其他好文 时间：
2020-01-04 12:57:01
阅读次数：
166
一、概述 sqoop 是 apache 旗下一款“Hadoop 和关系数据库服务器之间传送数据”的工具。 核心的功能有两个： 导入、迁入 导出、迁出 导入数据：MySQL，Oracle 导入数据到 Hadoop 的 HDFS、HIVE、HBASE 等数据存储系统 导出数据：从 Hadoop 的文件系 ...
分类：
其他好文 时间：
2020-01-04 12:52:32
阅读次数：
105
前面也说到过的Yarn是hadoop体系中的资源调度平台。所以在整个hadoop的包里面自然也是有它的。这里我们就简单介绍下，并配置搭建yarn集群。 首先来说Yarn中有两大核心角色Resource Manager和Node Manager。 Resource Manager负责接收用户提交的分布 ...
分类：
其他好文 时间：
2020-01-04 01:18:41
阅读次数：
76
Hadoop Hadoop里面包括几个组件HDFS、MapReduce和YARN，HDFS是存储数据的地方就像我们电脑的硬盘一样文件都存储在这个上面，MapReduce是对数据进行处理计算的，它有个特点就是不管多大的数据只要给它时间它就能把数据跑完，但是时间可能不是很快所以它叫数据的批处理。 YAR ...
分类：
其他好文 时间：
2020-01-03 23:16:37
阅读次数：
82
启动顺序 Hadoop及hbase集群启动顺序 zookeepeer -> hadoop -> hbase 停止顺序 Hadoop及hbase集群关闭顺序 hbase -> hadoop -> zookeepeer 启动和停止ZK /home/zookeeper-3.4.6/bin/zkServer ...
分类：
其他好文 时间：
2020-01-03 23:06:57
阅读次数：
157
本文详细的介绍了Hadoop的Yarn架构与原理分析
分类：
其他好文 时间：
2020-01-03 19:39:26
阅读次数：
84
一、项目介绍 在图书馆，尤其是在各大图书馆，对于图书的管理是相当重要的，而且也是相当麻烦，它是图书管理中最基本的一项常规性的工作。而长期以来，图书管理都是依赖人工进行的，面对如此多的借阅信息就造成相当一部分的资源的浪费。图书管理系统是为了解决图书馆的管理和图书借阅的相关信息的更新操作，包括管理员的调 ...
分类：
其他好文 时间：
2020-01-03 15:36:14
阅读次数：
89
