码迷,mamicode.com
首页 >  
搜索关键字:hadoop nutch hbase    ( 16575个结果
1,pinpoint全链路监控
1,Pinpoint的架构: Pinpoint的组件介绍: Pinpoint-Collector:收集各种性能数据 Pinpoint-Web:将收集到的数据显示成WEB网页形式 HBase Storage:收集到的数据存到HBase中 Pinpoint-Agent:和自己运行的应用关联起来的探针 P ...
分类:其他好文   时间:2020-05-09 00:26:14    阅读次数:114
从Hadoop HA到Zookeeper到Kafka(了解篇)
Kafka基于Zookeeper协调的分布式日志系统,可以当做MQ。主要就是做:日志收集系统、消息系统。还有就是用于用户活动跟踪:记录web用户或者app用户的各种活动,相信大家都感受到了吧。上篇我们已经提到,消息系统的两种传递模式:点对点、订阅/发布。这里将不再赘述。【对比】名称Column2RabbitMQ使用Erlang编写的一个开源的消息队列,适合企业级的开发,同时实现了Broker构架,
分类:其他好文   时间:2020-05-08 09:42:36    阅读次数:66
HBase与MapReduce交互
将jar包放置服务器运行 1.环境配置 + 在/etc/profile中配置 + 在hadoop env.sh配置,==在for循环后面添加== 直接在开发平台运行,连接到HBase服务端(以IDEA为例) 1.环境配置,添加hbase site.xml,将远程的hbase site.xml文件内容 ...
分类:其他好文   时间:2020-05-07 22:58:36    阅读次数:83
删除API详解
Hbase API删除数据详解 一:代码实现如下: 二:分析和实践 ==javaAPI删除Hbase的数据有三种方式,hbase删除数据,并不是马上删掉,只是对数据打一个删除标记,真正删除数据是等到下一次major_compact(除非KEEP_DELETED_CELLS=true)。== 1) 删 ...
分类:Windows程序   时间:2020-05-07 20:13:41    阅读次数:150
KILL hive 执行中的job任务
使用hadoop job -list来列出当前hadoop正在执行的jobs 然后使用hadoop job -kill job_1546932571227_0082来杀死该job任务, 原文链接:https://blog.csdn.net/zhy_2117/java/article/details/ ...
分类:其他好文   时间:2020-05-07 19:48:36    阅读次数:124
Kafka单机部署
一、kafka介绍及原理kafka是由Apache软件基金会发布的一个开源流处理平台,由Scala和Java编写。它是一种高吞吐量的分布式发布的订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据。这种动作(网页浏览,搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。对于像Hadoop一样的日志数据和离线分析系统,
分类:其他好文   时间:2020-05-07 09:17:48    阅读次数:76
HDFS客户端环节准备--在Windows上安装hadoop
1.将下载的hadoop的jar包解压到自己想要存放的目录下,然后再hadoop的根目录下复制它的完整路径 2.配置环境变量,创建一个系统变量“HADOOP_HOME”,变量值就是hadoop的路径 3.将这个变量添加到Path变量中: 4.保存后退出 5.打开cmd命令行窗口,输出命令“hadoo ...
分类:Windows程序   时间:2020-05-06 13:37:26    阅读次数:102
阿里P8架构师谈:MongoDB、Hbase、Redis等NoSQL优劣势、应用场景
NoSQL的四大种类 NoSQL数据库在整个数据库领域的江湖地位已经不言而喻。在大数据时代,虽然RDBMS很优秀,但是面对快速增长的数据规模和日渐复杂的数据模型,RDBMS渐渐力不从心,无法应对很多数据库处理任务,这时NoSQL凭借易扩展、大数据量和高性能以及灵活的数据模型成功的在数据库领域站稳了脚 ...
分类:数据库   时间:2020-05-06 12:12:17    阅读次数:86
数据源管理 | 基于DataX组件,同步数据和源码分析
本文源码:GitHub·点这里||GitEE·点这里一、DataX工具简介1、设计理念DataX是一个异构数据源离线同步工具,致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。解决异构数据源同步问题,DataX将复杂的网状的同步链路变成了星型数据链路,DataX作为中间传输载体负责连接各种数据源。当
分类:其他好文   时间:2020-05-06 10:30:40    阅读次数:73
HBase原理总结
HBase分布式数据库,面向列存储(准确的说是面向列族),支持实时、随机读写。HDFS 为 Hbase 提供可靠的底层数据存储服务,MapReduce 为 Hbase 提供高性能的计算能力,Zookeeper 为 Hbase 提供 稳定服务和Failover机制,因此,Hbase 是一个通过大量廉价 ...
分类:其他好文   时间:2020-05-06 01:13:24    阅读次数:103
16575条   上一页 1 ... 59 60 61 62 63 ... 1658 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!