最近闲来无事就想梳理下自己了解的nosql的知识和所知道的一些nosql数据库。一来是加深自己对nosql的理解；二来是将自己所掌握的知识整理下，使其更有条理。
因此，我就开始做这件事了，因为自己也就是了解些HBase，redis，Cassandra，mongoDB等这些最常见的nosql数据库，起初还以为就跟关系型数据库一样就那常用的几种呢，然后就开始从网上找些相关的资料，搜罗资料中所有自己...
分类：
数据库 时间：
2015-05-03 09:23:39
阅读次数：
142
1.hbase相同的rowkey里存在多条记录问题的调研解决方案VERSIONS => 3，Hbaseversion最多插入三条记录将一个集群hbase中表 "VerticalDataTable" 数据插入另一张表时遇到问题,本来有十几个版本，但是只插入了3个版本（还是可以插入成功）搜索后发现是因为...
分类：
数据库 时间：
2015-05-02 11:08:15
阅读次数：
164
spark streaming 如果以local 模式运行，log日志非常清楚。
如果log 日志是运行在yarn 模式下，driver 的日志可以通过reource manager 日志看到。但是executor的日志却看不到，我们往往错误都发生在executor里，比如典型的错误：如果我们连接hbase去存取数据的话，我们会在driver里初始化了连接，缺忽略的excutors里，导致程序出错...
分类：
其他好文 时间：
2015-04-29 13:38:51
阅读次数：
290
导致Hbase挂掉的场景HMasterHMaster会出现异常(执行abort())停止的场景如下：1.zk异常导致的master停止服务是最常见的场景，涉及操作包含但不限于以下：a)Zk链接超时，超时时间通过zookeeper.session.timeout配置，默认为3分钟,如果fail.fast.expired.active.master配置的值为f..
分类：
其他好文 时间：
2015-04-29 10:14:57
阅读次数：
684
Hbase实现Hbase由一个Master节点负责协调管理一个或多个RegionServer从属机.Master负责启动,把区域分配给注册的RegionServer,恢复RegionServer的故障.Master负载很轻.RegionServer负责零个或多个区域的管理以及响应客户端的读写请求,RegionServer还负责区域的划分,并通知Master..
分类：
其他好文 时间：
2015-04-29 10:13:57
阅读次数：
190
1.sqoop将hive中的数据导入到mysqlforexample：sqoopexport--connectjdbc:mysql://10.18.101.15:3306/wda--usernamerestdbuser--password123456--tableadl_trend_num_android--export-dir/apps/hive/warehouse/adldb.db/adl_trend_num_android/date_stamp=$date--input-fields-..
分类：
数据库 时间：
2015-04-29 07:24:35
阅读次数：
245
Hbase Client Test Case...
分类：
其他好文 时间：
2015-04-28 22:51:00
阅读次数：
193
Hadoop大数据零基础实战培训教程一，教程内容：1，Hadoop2.0YARN深入浅出系列2，Avro数据序列化系统3，Chukwa集群监控系统4，Flume日志收集系统5，Greenplum架构6，Hadoop的起源7，Hadoop商业应用案例8，HBase案例分析9，HBase编程实践10，M...
分类：
其他好文 时间：
2015-04-26 12:05:41
阅读次数：
209
2015年 4 月 25 日 下午 hadoop作业需要配置hbase 在网上找了一篇文章 http://jarg.iteye.com/blog/1691702 做完后 会出现HbaseMasterNotRunningException，按照以下步骤可以排除错误 1、http://blog...
分类：
其他好文 时间：
2015-04-25 16:31:09
阅读次数：
122
这是第一次出勤部署产品。遇到不可控问题，解决，写个心得。记录一下吧^^ 在排查问题的过程中，学到不少知识。（1）centos系统盘和数据盘分开，装操作系统的人没有将IT的空间分配出来，所以分区，自动挂载#lvmdiskscan 查看哪些设备成为了物理卷.检测硬盘和分区中的逻辑巻管理信息只有/dev....
分类：
其他好文 时间：
2015-04-24 20:57:10
阅读次数：
347
