kafka+zookeeper搭建见文章flume安装：1、下载http://101.96.8.157/www.apache.org/dyn/closer.lua/flume/1.8.0/apache-flume-1.8.0-bin.tar.gz2、安装-下图新建数据库和表3、配置新增conf/mysql-flume.conf[root@node191apache-flume-1.8.0-bin]
分类：
数据库 时间：
2018-10-15 20:32:13
阅读次数：
590
1. Spark Streaming的工作机制 Spark Streaming 是Spark核心API的一个扩展，可以实现高吞吐量的、具备容错机制的实时流数据的处理。 支持从多种数据源获取数据，包括Kafk、Flume、Twitter、ZeroMQ、Kinesis 以及TCP sockets， 从数 ...
分类：
其他好文 时间：
2018-10-14 14:15:29
阅读次数：
206
一、数据生产实现 1.配置数据生产模块 项目基础配置所包含的内容，如下所示： ?项目工程的文件配置 ?集群连接信息配置 ?开发演示 项目基础配置所包含的内容，如下所示： ?项目工程的文件配置 ?集群连接信息配置 ?开发演示 2.实现 Flume 到 Kafka 模块 实现 Flume 到 Kafka ...
分类：
其他好文 时间：
2018-10-14 00:32:24
阅读次数：
166
CDH是Cloudera公司提供的Hadoop发行版，它在原生开源的Apache Hadoop基础之上，针对特定版本的Hadoop以及Hadoop相关的软件，如Zookeeper、HBase、Flume、Sqoop等做了兼容性开发，我们在安装CDH发行版的Hadoop时就无需进行额外繁琐的兼容性测试 ...
分类：
其他好文 时间：
2018-10-13 12:56:36
阅读次数：
319
PolarDB是阿里云基于MySQL推出的云原生数据库（Cloud Native Database）产品，通过将数据库中计算和存储分离，多个计算节点访问同一份存储数据的方式来解决目前MySQL数据库存在的运维和扩展性问题；通过引入RDMA和SPDK等新硬件来改造传统的网络和IO协议栈来极大提升数据库 ...
分类：
数据库 时间：
2018-10-12 17:50:44
阅读次数：
233
概念： 贝叶斯定理：贝叶斯理论是以18世纪的一位神学家托马斯.贝叶斯(Thomas Bayes)命名。通常，事件A在事件B（发生）的条件下的概率，与事件B在事件A（发生）的条件下的概率是不一样的；然而，这两者是有确定的关系的，贝叶斯定理就是这种关系的陈述 朴素贝叶斯：朴素贝叶斯方法是基于贝叶斯定理和 ...
分类：
编程语言 时间：
2018-10-09 18:13:23
阅读次数：
180
所谓门面模式：提供一个统一接口给用户去访问多个子系统的多个不同接口； 优点： 1.子系统之间解耦 2.简化用户对子系统的使用 3.子系统易扩展增加 缺点： 子系统实现与客户程序存在很大依赖性，需预制客户程序的功能 下以slf4j 为例分析其门面模式实现原理 1. 门面架构分析 2. 源码实现分析 1 ...
分类：
其他好文 时间：
2018-10-07 12:06:40
阅读次数：
419
1. 学习计划 1、将工程改造为基于SOA架构 2、商品列表查询功能实现。 2.1. 分析 由于商城是基于soa的架构，表现层和服务层是不同的工程。所以要实现商品列表查询需要两个系统之间进行通信。 如何实现远程通信？ 1、Webservice：效率不高基于soap协议。项目中不推荐使用。 2、使用r ...
分类：
其他好文 时间：
2018-10-06 21:34:14
阅读次数：
283
zookeeper负责协调 hbase必须依赖zookeeper flume 日志工具 sqoop 负责 hdfs dbms 数据转换 数据到关系型数据库转换 大数据学习群119599574 hadoop database 是一个高可靠性、高性能、面向列、可伸缩、实时读写的分布式数据库 利用Hado ...
分类：
其他好文 时间：
2018-10-02 17:19:44
阅读次数：
155
本文适合有一定大数据基础的读者朋友们阅读，但如果你没有技术基础，照样可以继续看（这就好比你看《葵花宝典》第一页：欲练此功，必先自宫，然后翻到第二页：若不自宫，也可练功，没错就是这种感觉→_→）。 大数据的数据采集工作是大数据技术中非常重要、基础的部分，数据不会平白无故地跑到你的数据平台软件中，你得用 ...
分类：
Web程序 时间：
2018-09-25 14:41:36
阅读次数：
228
