一、快速删除重复的记录的方法： 1、通过创建临时表删除重复的的记录 1）创建emp表的临时表，把数据导入临时表中，删除原来的表中的数据然后把临时表中的数据导入原表 create table emp_tmp as select distinct * from emp; 2...
分类：
其他好文 时间：
2014-07-27 22:47:49
阅读次数：
323
转载请注明出处： jiq?钦's technical Blog - 季义钦
一、开篇
淘宝之前使用的存储层架构一直是MySQL数据库，配合以MongDB，Tair等存储。
MySQL由于开源，并且生态系统良好，本身拥有分库分表等多种解决方案，因此很长一段时间内都满足淘宝大量业务的需求。但是由于业务的多样化发展，有越来越多的业务系统的需求开始发生了变化。一般来说有以下几类变化：
(1)...
分类：
数据库 时间：
2014-07-27 11:22:22
阅读次数：
446
前言: 作为Hadoop生态系统中重要的一员, HBase作为分布式列式存储, 在线实时处理的特性, 备受瞩目, 将来能在很多应用场景, 取代传统关系型数据库的江湖地位. 本篇主要讲述面向时间序列/面检索的应用场景时, 如何利用HBase的特性去处理和优化. 构造应用场景 某气象局对各个站点...
分类：
其他好文 时间：
2014-07-26 16:49:51
阅读次数：
381
Ganglia监控软件主要是用来监控系统性能的软件，如：cpu 、mem、硬盘利用率， I/O负载、网络流量情况等，通过曲线很容易见到每个节点的工作状态，对合理调整、分配系统资源，提高系统整体性能起到重要作用。
本言讲解如何利用ganglia监控hbase指标，过滤无用的指标，并实现单独管理 hadoop metrics system 的功能，修改指标配置不用重启hbase。...
分类：
其他好文 时间：
2014-07-26 02:41:16
阅读次数：
385
1 hbase.hregion.max.filesize应该设置多少合适2 autoflush=false的影响3 从性能的角度谈table中family和qualifier的设置4 hbase.regionserver.handler.count详解1 hbase.hregion.max.file...
分类：
其他好文 时间：
2014-07-26 01:08:36
阅读次数：
194
1、主要是设置Reduce端输出的value类型直接上代码吧：注释就免了吧，大家应该很熟悉了。package hbase;import java.io.IOException;import java.util.StringTokenizer;import org.apache.hadoop.conf...
分类：
其他好文 时间：
2014-07-25 19:04:02
阅读次数：
271
1. 由于Bulk Insert通常配合格式化文件批量导入数据更方便，所以这里先介绍bcp工具导出格式化文件的方法。bcp是SQL Server提供的命令行实用工具提供了数据的导出、导入、格式文件导出等功能，导出格式化文件的语法如下：bcp 数据库名.用户名.表名 format nul -- 这里的...
分类：
数据库 时间：
2014-07-25 18:59:51
阅读次数：
328
1、搭建环境 复制linux下已配置搭建好的hbase目录进入windows里面，当然使用linux开发的可以不用。 新建java工程，将hbase目录下的jar和lib下的jar包添加到类路径下。 同时增加外部Class Folder将hbase的conf目录增加进来 多数连接操作就是因为没...
分类：
其他好文 时间：
2014-07-25 16:48:41
阅读次数：
266
1、从content域中搜索
从solr的example中得到的solrConfig.xml中，qf的定义如下：
[html] view
plaincopy
str name="qf">
text^0.5 features^1.0 name^1.2 sku^1.5 id^10.0 manu^1.1 cat^1.4...
分类：
其他好文 时间：
2014-07-24 23:31:23
阅读次数：
211
Oracle数据导入导出imp/exp就相当于oracle数据还原与备份。exp命令可以把数据从远程数据库服务器导出到本地的dmp文件，imp命令可以把dmp文件从本地导入到远处的数据库服务器中。利用这个功能可以构建两个相同的数据库，一个用来测试，一个用来正式使用。执行环境：可以在SQLPLUS.E...
分类：
数据库 时间：
2014-07-24 22:51:03
阅读次数：
333
