1、Mapper类package cn.sjq.bigdata.mr.salary;import java.io.IOException;import org.apache.commons.lang.StringUtils;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apa
分类：
其他好文 时间：
2018-07-26 10:50:51
阅读次数：
254
前言：该文章是基于 Hadoop2.7.6_01_部署 进行的。 1. Hive基本概念 1.1. 什么是Hive Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。 1.2. 为什么使用Hive 直接使用hadoop所面临的问题 人员学 ...
分类：
其他好文 时间：
2018-07-22 11:29:38
阅读次数：
142
解压缩:tar -xvf sqoop-1.4.7.bin__hadoop-2.6.0.tar 重命名:mv sqoop-1.4.7.bin__hadoop-2.6.0 sqoop 配置环境变量 export SQOOP_HOME=/data/bigdata/sqoop export PATH=$SQ ...
分类：
其他好文 时间：
2018-07-20 16:41:32
阅读次数：
145
# -*- coding:utf-8 -*- import sys from pymongo import MongoClient import pandas as pd from sqlalchemy import create_engine import MySQLdb import json ... ...
分类：
数据库 时间：
2018-07-19 10:52:42
阅读次数：
197
kafka 服务相关的命令 # 开启kafka的服务器bin/kafka-server-start.sh -daemon config/server.properties &# 创建topicbin/kafka-topics.sh --create --zookeeper bigdata-senio ...
分类：
其他好文 时间：
2018-07-16 14:04:31
阅读次数：
332
本文主要讲解kafka日常运维的命令，包括topic管理、性能测试脚本。 kafka版本0.10.0，安装步骤见 "大数据平台搭建 kafka集群的搭建" 常用脚本 如下所有的命令均基于 ,服务器列表如下： 10.20.112.59 10.20.112.64 10.20.112.65 10.20.1 ...
分类：
其他好文 时间：
2018-07-04 20:10:10
阅读次数：
366
HDP安装： 在任意机器浏览器上打开ambari web 界面 （http://192.168.15.151:8080 user:admin psd:admin) 在主页面 ”Create a Cluster“ 版板，选择 ”Launch Install Wizard“，如图： 按向导输入集群名 选 ...
分类：
其他好文 时间：
2018-06-22 01:02:34
阅读次数：
1584
不多说，直接上干货！ 1、先每台机器的zookeeper启动（bigdata-pro01.kfk.com、bigdata-pro02.kfk.com、bigdata-pro03.kfk.com） 2、启动zkfc（bigdata-pro01.kfk.com上） [kfk@bigdata-pro01 ...
分类：
Web程序 时间：
2018-06-17 16:03:27
阅读次数：
489
博鳌亚洲论坛2018年年会正在海南博鳌举行。本次论坛年会主题为“开放创新的亚洲，繁荣发展的世界”，并特别设立了“让人工智能落地”的分论坛，邀请了众多人工智能企业负责人讨论，显示出对人工智能话题高度关注。从2015年起，这是博鳌亚洲论坛连续第4年举行有关人工智能的分论坛了。在博鳌论坛的官网上，这样介绍人工智能：伴随着AI（人工智能）、BigData（大数据）、CloudComputing（云计算），
分类：
其他好文 时间：
2018-06-07 14:25:14
阅读次数：
169
静动态增删节点 初始： 这是我现在的集群 重新克隆一个虚拟机： hadoop44:datanode(静态增加，删除和动态删除) hadoop55:datanode（动态hdfs添加，yarn动态增删） 静态添加： 1）修改hosts文件，让主可以认识它 vi /etc/hosts 2）设置无密码访问 ...
分类：
其他好文 时间：
2018-06-01 20:37:48
阅读次数：
197
