这是第一次出勤部署产品。遇到不可控问题，解决，写个心得。记录一下吧^^ 在排查问题的过程中，学到不少知识。（1）centos系统盘和数据盘分开，装操作系统的人没有将IT的空间分配出来，所以分区，自动挂载#lvmdiskscan 查看哪些设备成为了物理卷.检测硬盘和分区中的逻辑巻管理信息只有/dev....
分类：
其他好文 时间：
2015-04-24 20:57:10
阅读次数：
347
From"Jonathan Hsieh (JIRA)" Subject[jira] [Updated] (HBASE-10123) Change default ports; move them out of linux ephemeral port rangeDateFri, 17 Jan 201...
分类：
其他好文 时间：
2015-04-24 18:13:09
阅读次数：
290
复制策略是hadoop文件系统最核心的部分，对读写性能影响很大，hadoop和其它分布式文件系统的最大区别就是可以调整冗余数据的位置，这个特性需要很多时间去优化和调整。
一、数据存放
目前hadoop采用以机柜为基础的数据存放策略，这样做的目的是提高数据可靠性和充分利用网络带宽。当前具体实现了的策略只是这个方向的尝试，hadoop短期的研究目标之一就是在实际产品环境中观察系统读写的行为，...
分类：
其他好文 时间：
2015-04-24 16:23:59
阅读次数：
241
phoenix(直译做凤凰)的操作sql是通过jdbc发送到HBase的。phoenix的查询语句会转化为hbase的scan操作和服务器端的过滤器。如果我们手工使用HBase的api去写这些代码，也会得到相同的运行结果和执行速度。但是，使用phoenix的效果却会带来更快的开发效率。他提供了HBa...
分类：
其他好文 时间：
2015-04-23 13:10:50
阅读次数：
169
大数据的生态系统图Thinking in BigData（八）大数据Hadoop核心架构HDFS+MapReduce+Hbase+Hive内部机理详解浅谈Apache Spark的6个发光点大数据，首先你要能存的下大数据。传统的文件系统是单机的，不能横跨不同的机器。HDFS（Hadoop Distr...
分类：
其他好文 时间：
2015-04-23 13:09:49
阅读次数：
176
Pig一种操作hadoop的轻量级脚本语言，最初又雅虎公司推出，不过现在正在走下坡路了。当初雅虎自己慢慢退出pig的维护之后将它开源贡献到开源社区由所有爱好者来维护。不过现在还是有些公司在用，不过我认为与其使用pig不如使用hive。：）Pig是一种数据流语言，用来快速轻松的处理巨大的数据。Pig包...
分类：
其他好文 时间：
2015-04-23 12:56:47
阅读次数：
137
HDFS和HBase是Hadoop中两种主要的存储文件系统，两者适用的场景不同，HDFS适用于大文件存储，HBASE适用于大量小文件存储。本文主要讲解HDFS文件系统中客户端是如何从Hadoop集群中读取和写入数据的，也可以说是block策略。正文一写入数据 当没有配置机架信息时，所有的机器had....
分类：
其他好文 时间：
2015-04-23 12:39:29
阅读次数：
110
HBase基础知识 HBase - Hadoop Database，是一个高可靠，高性能，面向列*，可伸缩的分布式存储系统。 利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。 HBase利用Hadoop HDFS作为其文件存储系统，利用Hadoop MapReduce来处理...
分类：
其他好文 时间：
2015-04-23 01:57:01
阅读次数：
141
最近在做一个交通流的数据分析，需求是对于海量的城市交通数据，需要使用MapReduce清洗后导入到HBase中存储，然后使用Hive外部表关联HBase，对HBase中数据进行查询、统计分析，将分析结果保存在一张Hive表中，最后使用Sqoop将该表中数据导入到MySQL中。整个流程大概如下：
下面我主要介绍Hive关联HBase表——Sqoop导出Hive表到MySQL这...
分类：
数据库 时间：
2015-04-22 11:47:45
阅读次数：
287
