前提条件： 数据库容量上亿级别，索引只有id，没有创建时间索引 达到目标： 把阿里云RDS Mysql表数据同步到hive中，按照mysql表数据的创建时间日期格式分区，每天一个分区方便查询 每天运行crontab定时的增量备份数据，还是依据自增的id 遇到的问题： 没法建立创建时间的索引，不能按时 ...
分类：
数据库 时间：
2018-05-01 01:03:50
阅读次数：
1209
参见：https://blog.csdn.net/J_bean/article/details/78660329 Elasticsearch索引原理 最近在参与一个基于Elasticsearch作为底层数据框架提供大数据量(亿级)的实时统计查询的方案设计工作，花了些时间学习Elasticsearch ...
分类：
其他好文 时间：
2018-04-19 17:05:38
阅读次数：
268
本文记录了一次海量数据库快速大幅SQL调优的过程，记录于此，供各位同学及自己参考研究。 ...
分类：
数据库 时间：
2018-04-12 14:19:27
阅读次数：
165
当一个Web系统从日访问量10万逐步增长到1000万，甚至超过1亿的过程中，Web系统承受的压力会越来越大，在这个过程中，我们会遇到很多的问题。为了解决这些性能压力带来问题，我们需要在Web系统架构层面搭建多个层次的缓存机制。在不同的压力阶段，我们会遇到不同的问题，通过搭建不同的服务和架构来解决。 ...
分类：
Web程序 时间：
2018-04-10 17:39:50
阅读次数：
200
张善友15年底分享的博客：千万级规模高性能、高并发的网络架构经验分享 张开涛17年5月出版的书籍：《亿级流量网站架构核心技术》 提到Disruptor + Redis队列 关于Disruptor的介绍：http://ifeve.com/disruptor/ ...
分类：
其他好文 时间：
2018-03-25 19:24:26
阅读次数：
148
不多说，直接上干货！ 这是来自FineBI官网提供的帮助文档 目录: 1、描述 2、操作 3、注意事项 1、描述 1、描述 阿里分析型数据库ADS是一种高并发低延时的PB级实时数据仓库，全面兼容MySQL协议以及SQL:2003 语法标准，可以毫秒级针对万亿级数据进行即时的多维分析透视和业务探索；可 ...
分类：
其他好文 时间：
2018-03-22 14:36:06
阅读次数：
1094
继银监会大罚单席卷银行业后，央行开出的大罚单也来了。 央行网站16日消息显示，中国人民银行于2017年7 9月，先后对中国民生银行厦门分行（新兴支付清算中心）、平安银行开展了支付清算业务执法检查。经查实，上述两家银行存在违反清算管理、人民币银行结算账户管理、非金融机构支付服务管理等违法违规行为。对民 ...
分类：
其他好文 时间：
2018-03-18 12:03:30
阅读次数：
204
今天看了一篇关于苹果系统接收推送消息的文章，简单记录一下 推送系统也有测试环境（沙盒环境）和正式环境 苹果推送服务 对于苹果的 iOS 系统来说，它有自建的官方推送服务 APNS（Apple Push Notification service）。当我们的手机处于开机状态时，iOS 系统内置的一个推送 ...
分类：
移动开发 时间：
2018-03-15 11:09:25
阅读次数：
230
前言 笔者多年前便维护过ELK，但是由于站点日志流量及服务器数量并不是很多基本都是单机搞定。 然而光Web服务器就400+，Nginx日志大小每天50G+，加上其他业务系统日志，之前单机ELK显然不足以支撑现有的业务场景。 规划篇 目前的业务采用阿里云+自建机房的模式，阿里云做为线上业务，自建机房做 ...
分类：
其他好文 时间：
2018-03-10 19:29:52
阅读次数：
226
阶段一、单机构建网站 网站的初期，我们经常会在单机上跑我们所有的程序和软件。此时我们使用一个容器，如tomcat、jetty、jboos，然后直接使用JSP/servlet技术，或者使用一些开源的框架如maven+spring+struct+hibernate、maven+spring+spring ...
分类：
Web程序 时间：
2018-03-05 17:02:23
阅读次数：
212
