大表Join的数据偏斜
MapReduce编程模型下开发代码需要考虑数据偏斜的问题，Hive代码也是一样。数据偏斜的原因包括以下两点：
1. Map输出key数量极少，导致reduce端退化为单机作业。
2. Map输出key分布不均，少量key对应大量value，导致reduce端单机瓶颈。
Hive中我们使用MapJoin解决数据偏斜的问题，即将其中的某个表（全量）分发到所有Map端进...
分类：
其他好文 时间：
2015-06-24 12:58:02
阅读次数：
129
Solr与Mysql数据库的集成，实现全量索引、增量索引的创建。基本原理很简单：在Solr项目中注册solr的DataImportHandler并配置Mysql数据源以及数据查询sql语句。当我们通过Solr后台控制页面或者直接访问某个地址（后面给出），Solr就会调用DataImportHandl...
分类：
数据库 时间：
2015-06-16 20:54:00
阅读次数：
181
1、软件介绍可以实现全量或增量的本地或远程的数据镜像同步，可跨平台使用类似scp命令，但是功能优于scp，因为rsync可以做增量备份在同步备份数据时，默认情况下，rsync通过其独特的“quickcheck”算法，它仅同步大小或者最后修改时间发生变化的文件或目录，当然也可以根据权限..
分类：
其他好文 时间：
2015-06-04 12:08:00
阅读次数：
168
公司使用的阿里云的RDS，设置的备份策略是每天凌晨3点进行全量备份。备份文件都在阿里云上面，内网没有做任何备份。自从携程事件出现后，我觉得公司内网也要做下数据库备份。程序代码都在内网svn服务器，所以线上即使全删除了，也没有关系。数据库备份，本来考虑是导出sql文件..
分类：
其他好文 时间：
2015-06-03 19:50:47
阅读次数：
4278
索引创建完毕，就要考虑怎么定时的去重建， 除了写solrj，可以定时调用下面两条url进行增量或者全量创建索引 全量:http://ip:port/webapp_name/core_name/dataimport?command=full-import 增量:http://ip:port/webap...
分类：
其他好文 时间：
2015-05-29 19:42:36
阅读次数：
250
灰度发布，就是产品的新功能，让一部分人先看到，再让一部分人看到，再让。。。。这样直到全部上线或者下线。。常用的灰度发布，就是先加一批白名单，再加一批集团用户，再开发一台机器，再切全量。每开放一步，就多一批用户测试和反馈，然后你在迭代产品的优化方案，继续上面步骤。之前在邮箱的时候除了这种方式之外，还会...
分类：
其他好文 时间：
2015-05-20 17:46:36
阅读次数：
89
编译全量重新编译Debug版本UnrealScript脚本 UDK.exe make -debug全量重新编译Release版本UnrealScript脚本 UDK.exe make -release增量重新编译Debug版本UnrealScript脚本 UDK.exe make -debug...
分类：
其他好文 时间：
2015-05-16 20:13:36
阅读次数：
193
TokyoTyrant备份和恢复备份1.全量热备份备份命令为：tcrmgrcopy-port1978localhostdpath.tch.xxxxx(其中xxxxx为备份时间)根据业务需求及数据库运行状态决定备份的频度，全量热备时数据库库会写锁定，读不受影响。全量备份需记录备份时间点以提供replication恢复时所用，时间记..
分类：
其他好文 时间：
2015-05-08 18:21:30
阅读次数：
130
###########################################################################安装mysql或者mariaDB本地也要装mysql或者mariaDB相关的包##########################################################################略#########################################xtrabackup..
分类：
数据库 时间：
2015-05-07 17:06:38
阅读次数：
147
1. 为什么要灰度发布互联网服务变动频繁，发布周期短。速度与质量总是难以双全。灰度发布能降低发布风险，减少影响范围。降低对测试的依赖，减少线下自测的数据构造成本。方便集中监控日志，全量发布由于各层负载均衡的作用，很难跟踪一条完整的调用链路。可以灰度测试帐号，测试账户通过之后再灰度真实用户帐号，进一步...
分类：
其他好文 时间：
2015-05-07 16:29:39
阅读次数：
317
