基于Hadoop的sqoop组件的部署 什么是 Sqoop Sqoop 是一款开源的工具，主要用于在 Hadoop(Hive)与传统的数据库(mysql、postgresql...) 间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres 等）中的 数据导 ...
分类：
其他好文 时间：
2021-04-26 13:03:24
阅读次数：
0
kafka功能简单测试 启动zookeeper 启动zk命令： ./zhServer.sh start 启动akfka（注意server.properties的配置） 启动akfka命令：./kafka-server-start.sh /home/hadoop/app/kafka_2.11-0.9. ...
分类：
其他好文 时间：
2021-04-24 13:16:11
阅读次数：
0
03. Dubbo管理控制台 1. 作用 主要包含： 服务管理 路由规则 动态配置 服务降级 访问控制 权重调整 负载均衡等管理功能 如我们在开发时，需要知道Zookeeper注册中心都注册了哪些服务，有哪些消费者来消费这些服务。我 们可以通过部署一个管理中心来实现。其实管理中心就是一个web应用， ...
分类：
其他好文 时间：
2021-04-22 16:22:15
阅读次数：
0
1:下载地址 http://mirrors.hust.edu.cn/apache/sqoop/1.4.6/ 2:上传压缩包 scp sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz root@hadoop2:/opt/software 3:解压并重命名 tar - ...
分类：
其他好文 时间：
2021-04-21 12:09:16
阅读次数：
0
命令基本语法 功能描述 help 显示所有操作命令 ls path [watch] 显示所有操作命令 ls path [watch] 查看当前节点数据并能看到更新次数等数据 create 普通创建， -s 含有序列， -e 临时（重启或者超时消失） get path [watch] 获得节点的值 s ...
分类：
其他好文 时间：
2021-04-20 15:33:29
阅读次数：
0
ACL全称为Access Control List 即访问控制列表，用于控制资源的访问权限。zookeeper利用ACL策略控制节点的访问权限，如节点数据读写、节点创建、节点删除、读取子节点列表、设置节点权限等 集群中机器的数量并不是越多越好，一个写操作需要半数以上的节点ack，所以集群节点数越多， ...
分类：
其他好文 时间：
2021-04-20 15:33:16
阅读次数：
0
通过对 Zookeeper 中丰富的数据节点进行交叉使用，配合 Watcher 事件通知机制，可以非常方便的构建一系列分布式应用中涉及的核心功能，比如 数据发布/订阅、负载均衡、命名服务、分布式协调/通知、集群管理、Master 选举、分布式锁和分布式队列 等功能 1. 数据发布/订阅 当某些数据由 ...
分类：
其他好文 时间：
2021-04-20 15:29:56
阅读次数：
0
一、词频统计： 1.读文本文件生成RDD lines lines = sc.textFile('file:///home/hadoop/word.txt') 2.将一行一行的文本分割成单词 words flatmap() words=lines.flatMap(lambda line:line.sp ...
分类：
其他好文 时间：
2021-04-20 15:02:06
阅读次数：
0
Docker Hadoop 配置常见错误及解决办法 问题1：wordcount运行卡住，hadoop 任务运行到running job就卡住了 INFO mapreduce.Job: Running job: job_.... 解决如下： 1. 修改mapred-site.xml配置，配置文件在Ha ...
分类：
其他好文 时间：
2021-04-20 14:54:20
阅读次数：
0
Redis基础 NoSQL 学名（not only sql） 特点： 存储结构与MySQL这一种关系型数据库完全不同，NoSQL存储的是key-value形式的数据。 NoSQL有很多产品，都有自己的api和语法，以及业务场景。 产品种类： Mongodb Redis Hbase hadoop No ...
分类：
其他好文 时间：
2021-04-19 14:35:28
阅读次数：
0
