合理建表分区有效提高查询速度。重要数据采用外部表存储，CREATE EXTERNAL TABLE，数据和表只是一个location的关联，drop表后数据不会丢失；内部表也叫托管表，drop表后数据丢失；所以重要数据的表不能采用内部表的方式存储。在全天的数据里查询某个时段的数据，性能很低效-----...
分类：
其他好文 时间：
2014-07-18 20:16:47
阅读次数：
298
这个可以使用下面的方法答案：bin目录；通过应用程序集合AppDomain.CurrentDomain.BaseDirectory：带有"\"System.Environment.CurrentDirectory--F:\BackData\Code\CodeLibrary\CodeLibrary\b...
分类：
其他好文 时间：
2014-07-18 20:09:57
阅读次数：
173
DDMS DDMS（Dalvik Debug Monitor Server）就是动态调试的一个工具（不知Android L之后会不会改名--!）。DDMS提供文件浏览、Logcat、Method Profiling等功能。定位关键代码1.代码注入法用Apktool反编译得到smali，查找onCl....
分类：
移动开发 时间：
2014-07-18 20:02:52
阅读次数：
225
从hive将数据导出到mysqlhttp://abloz.com2012.7.20author:周海汉在上一篇文章《用sqoop进行mysql和hdfs系统间的数据互导》中，提到sqoop可以让RDBMS和HDFS之间互导数据，并且也支持从mysql中导入到HBase，但从HBase直接导入mysq...
分类：
数据库 时间：
2014-07-18 20:00:07
阅读次数：
482
1.在ubuntu下安装配置nginx, mysql, php安装步骤：参考：https://www.digitalocean.com/community/tutorials/how-to-install-linux-nginx-mysql-php-lemp-stack-on-ubuntu-12-0...
分类：
Web程序 时间：
2014-07-18 16:29:36
阅读次数：
302
常见的压缩有：对中间结果压缩、对输出结果压缩。压缩对比：算法压缩前/压缩后压缩速度解压速度GZIP13.4%21MB/s118 MB/sLZO20.5%135 MB/s410 MB/sSnappy22.2%172 MB/s409 MB/sSnappy介绍：Snappy 网站：http://code....
分类：
其他好文 时间：
2014-07-18 16:12:24
阅读次数：
352
案例：Hadoop jar引用：hadoop jar -libjars aa.jar bb.jar ….jar包会被上传到hdfs，然后分发到每个datanode假设有20个jar文件，每天jar文件被上传上万次，分发达上万次（百G级），造成很严重的IO开销。如何使这些jar包在HDFS上进行缓存，...
分类：
其他好文 时间：
2014-07-18 00:23:59
阅读次数：
265
最近几年日志分析这方面的人才需求越来越多，主要伴随数据挖掘的快速发展而迅速增长的。碰巧又在工作中又接触到一些日志记录方面的工作，就顺便了解一下日志系统的整个流程。下面这篇文章转自百度同学的一篇文章，针对大规模日志分析，联系到hadoop,hive的解决方案，阐述的比较全面。
另外就是阿里已经开发出类似的系统odps—通过sql语言进行数据的分析处理，详情见：http://102.alibab...
分类：
其他好文 时间：
2014-07-17 20:15:30
阅读次数：
301
package main
import (
"html/template"
"io"
"io/ioutil"
"log"
"net/http"
"os"
"path"
"runtime/debug"
)
const (
ListDir = 0x0001
UPLOAD_DIR = "./uploads"
TEMPLATE_DIR = "./v...
1.下载Debug版本jar包
首先要下载一个Debug版本的JDBC jar包，Debug版本的jar包命名形式为jdbcX_g.jar（如下图所示），如Oracle11g的Debug版本的jar包为jdbc6_g.jar。点击这里下载：http://www.oracle.com/technetwork/database/enterprise-edition/jdbc-112010-...
分类：
数据库 时间：
2014-07-17 17:06:38
阅读次数：
286
