35.并行和并发有什么区别？ 1.并行是指两个或者多个事件在同一时刻发生；而并发是指两个或多个事件在同一时间间隔发生。 2.并行是在不同实体上的多个事件，并发是在同一实体上的多个事件。 3.在一台处理器上“同时”处理多个任务，在多台处理器上同时处理多个任务。如hadoop分布式集群。 所以并发编程的 ...
分类：
编程语言 时间：
2020-04-24 14:32:30
阅读次数：
67
Hadoop的官方案例都在mapreduce.jar文件夹中，提供了mapreduce的基本功能，可用于计算，eg:pi值，计算文档中的字数等 官方案例都在 hadoop-mapreduce-examples-2.7.3.jar 这个jar包中。 命令：hadoop jar ./hadoop-2.7 ...
分类：
其他好文 时间：
2020-04-24 01:40:56
阅读次数：
107
abc 过滤器介绍 HBase过滤器是一套为完成一些较高级的需求所提供的API接口。 过滤器也被称为下推判断器（push down predicates），支持把数据过滤标准从客户端下推到服务器，带有 Filter 条件的 RPC 查询请求会把 Filter 分发到各个 RegionServer，所 ...
分类：
其他好文 时间：
2020-04-23 22:46:48
阅读次数：
76
1. 下载wordcount jar 文件 下载文件夹放置你的目录： https://github.com/yjy24/bigdata_learning/blob/master/hadoopMapRedSimple.zip 2. 启动 hadoop 管理员身份运行window cmd： 启动 Had ...
大概的流程具体如下： 1、修改主机名 2、关闭防火墙 3、安装JDK并配置环境变量 4、安装Hadoop并配置环境变量 上面每个流程的具体操作如下： 一、修改主机名 1、修改主机名 根目录下输入如下代码： vim etc/hostname 然后把当前的主机名改掉，我改成了hadoop 2、修改lin ...
分类：
其他好文 时间：
2020-04-23 19:08:09
阅读次数：
57
为避免因自然灾害等意外情况而导致的本地数据丢失情况，异地数据容灾也是企业数据保护的一大常见命题。Ucahe备份呢支持通过远程复制技术，将本地数据同步到异地，实现异地数据保护。一站式的web管理,支持增量,差异,永久,定时,多副本等30多项功能列表，8项灾备技术，3款产品，满足企业不同场景的数据备份需求，帮助企业实现小时级、分钟级、秒级RTO/RPO目标，高效率，低成本，操作简单，Ucahe采用首次
分类：
其他好文 时间：
2020-04-23 16:20:09
阅读次数：
85
一、Kafka介绍 Kafka是一个开源的分布式消息引擎/消息中间件，同时Kafka也是一个流处理平台。Kakfa支持以发布/订阅的方式在应用间传递消息，同时并基于消息功能添加了Kafka Connect、Kafka Streams以支持连接其他系统的数据(Elasticsearch、Hadoop等 ...
分类：
系统相关 时间：
2020-04-23 12:02:24
阅读次数：
86
ZooKeeper 简介 ZooKeeper 是一个分布式的、开放源码的分布式应用程序协调服务，是 Google 的 Chubby 一个开源的实现，是 Hadoop 和 Hbase 的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。Zoo ...
分类：
其他好文 时间：
2020-04-22 16:49:02
阅读次数：
66
最近在做将kafka里面的业务日志写入到hbase 当中，然后要对hbase 里面的数据进行解析然后插入到数据库当中。 为了能节约磁盘空间想对hbase里面的数据进行删除，但是我们设置的rowkey是按照每小时 加日期 然后加hash码的方式组成的。例子如下： 这个地方我们没有办法通过框定一个时间范 ...
分类：
系统相关 时间：
2020-04-22 16:12:15
阅读次数：
337
import org.apache.hadoop.hbase.io.ImmutableBytesWritable import org.apache.hadoop.hbase.mapreduce.TableOutputFormat import org.apache.hadoop.hbase.cli ...
分类：
其他好文 时间：
2020-04-22 09:54:55
阅读次数：
108
