感谢分享：http://blog.sina.com.cn/s/blog_7e04e0d00102w140.html 采集程序是使用hive -f xx.hql> xx.out，在使用sqoop将数据导入关系型数据库。 最近赶上大数据平台升级，忽然之间跑的好好的任务忽然报错说类型转换错误。 结果经查询 ...
分类：
其他好文 时间：
2020-06-23 15:54:30
阅读次数：
73
Hbase容灾与备份 一、前言 本文主要介绍 Hbase 常用的三种简单的容灾备份方案，即CopyTable、Export/Import、Snapshot。分别介绍如下： 二、CopyTable 2.1 简介 CopyTable可以将现有表的数据复制到新表中，具有以下特点： 支持时间区间 、row ...
分类：
其他好文 时间：
2020-06-23 00:44:02
阅读次数：
60
数据来源层 数据库 日志 视频，ppt 数据传输层 Sqoop数据传递 Flume日志收集 kafka消息队列 数据存储层 HDFS文件存储 HBase非关系型数据库 kafka（存储少量数据） 资源管理层 YARN资源管理 数据计算层 MapReduce离线计算 Hive数据查询 Mahout数据 ...
分类：
其他好文 时间：
2020-06-22 00:56:04
阅读次数：
83
探索性数据分析——Profiling 可以快速预览数据 导入包： import pandas as pd import pandas_profiling 导入数据： data=pd.read_csv("model.csv") 或者hive_query 输出报告： pandas_profiling.P ...
分类：
其他好文 时间：
2020-06-21 23:21:42
阅读次数：
41
Hadoop 分布式系统基础结构 海量数据存储，海量数据计算 Hadoop指的是Hadoop生态圈 Google=》Hadoop GFS->HDFS Map-Reduce->MR BigTable->HBase Hadoop发行版本 Apache：最基础 Cloudera：大型互联网企业 Horto ...
分类：
其他好文 时间：
2020-06-21 23:10:42
阅读次数：
63
实现效果： 实现步骤： 创建表News并插入数据 导入新闻模板 新建NewsService，提供News类的数据服务 package Service; import Controller.DatabaseOperation; import Entity.News; import java.sql.R ...
分类：
Web程序 时间：
2020-06-20 23:54:25
阅读次数：
99
脚本通过ssh检查大数据环境中各节点的相关实例是否运行正常，包括：zk、hadoop-ha、hdfs、yarn、hbase、hive-metastore、hiveserver2、kafka。 注意修改成自己的集群节点名称及kafka版本 #!/bin/bash # 定义机器名前缀 HN_PREFIX ...
分类：
系统相关 时间：
2020-06-20 16:44:49
阅读次数：
68
Hadoop+Hive+Zookeeper+hbase+kylin环境搭建说明
分类：
其他好文 时间：
2020-06-18 16:08:02
阅读次数：
58
使用 mysql 命令导入语法格式为： 首先创建一个数据库B，然后再数据库A的路径下打开CMD输入下面命令，将A数据库里面的数据导入数据库B； mysql -u用户名 -p数据库B < 数据库A.sql； ...
分类：
数据库 时间：
2020-06-17 19:54:48
阅读次数：
56
因为要验证一个生产问题，生产问题是由于生产环境中数据较多导致一个修改接口速率较慢。为了验证这个问题需要在测试环境复现这个问题，但测试环境中测试数据较少，才几千条数据，和开发沟通可以写一个存储过程造测试数据效率比较快。SQL比较菜，后来我用了一个比较简单的方法进行解决 备份表A表中有30万条的测试数据 ...
分类：
其他好文 时间：
2020-06-17 12:56:39
阅读次数：
53
