最近在参与一个基于Elasticsearch作为底层数据框架提供大数据量(亿级)的实时统计查询的方案设计工作，花了些时间学习Elasticsearch的基础理论知识，整理了一下，希望能对Elasticsearch感兴趣/想了解的同学有所帮助。 同时也希望有发现内容不正确或者有疑问的地方，望指明，一起 ...
分类：
其他好文 时间：
2019-06-03 17:08:37
阅读次数：
94
课程目标本课程将为读者讲解Redis数据库的安装与使用，其核心目的是为了集群开发进行铺垫。 适用人群系统架构人员 集群开发工程师 WEB工程师 课程简介 Redis是现在最流行的缓存数据库，利用Redis可以实现10W/秒的数据操作，利用Redis可以解决高并发的数据访问问题，同时Redis又可以与 ...
分类：
其他好文 时间：
2019-05-25 00:02:02
阅读次数：
144
最近在做一个大数据模拟器的功能，数据达到上亿级别，但频繁插入SQL导致效率过低。优化MySQL的插入和查询效率，把for循环中的插入修改为一行进行插入多个记录可以大幅度优化速度。 Linux 查看文件大小 stat filepath wc -c filename，得到字节数 du -b filepa ...
分类：
其他好文 时间：
2019-05-24 19:40:26
阅读次数：
103
读写分离是借助MySQL中间件ProxySQL实现的 ProxySQL有两个版本：官方版和percona版，percona版是基于官方版基础上修改C++语言开发，轻量级但性能优异(支持处理千亿级数据)具有中间件所需的绝大多数功能，包括：多种方式的读/写分离定制基于用户、基于schema、基于语句的规则对SQL语句进行路由缓存查询结果后端节点监控准备&e
分类：
数据库 时间：
2019-05-09 00:28:24
阅读次数：
142
类似订单表，用户表这种未来规模上亿甚至上十亿百亿的海量数据表，在项目初期为了快速上线，一般只是单表设计，不需要考虑分库分表。随着业务的发展，单表容量超过千万甚至达到亿级别以上，这时候就需要考虑分库分表这个问题了，而不停机分库分表迁移，这应该是分库分表最基本的需求，毕竟互联网项目不可能挂个广告牌"今晚10:00~次日10:00系统停机维护"，这得多low呀，以后跳槽面试，你跟面试官说这个迁移方案，面试官怎么想呀？
分类：
其他好文 时间：
2019-05-08 19:06:59
阅读次数：
142
本次分享主要包含两个方面的实战经验：索引性能和查询性能。 一. 索引性能（Index Performance） 首先要考虑的是，索引性能是否有必要做优化？ 索引速度提高与否？主要是看瓶颈在什么地方，若是 Read DB（产生DOC）的速度比较慢，那瓶颈不在 ElasticSearch 时，优化就没那 ...
分类：
其他好文 时间：
2019-05-05 16:01:37
阅读次数：
180
原文链接：http://www.cnblogs.com/xiaodf/p/5075167.html 简介 官方简介： 能够保证严格的消息顺序 提供丰富的消息拉取模式 高效的订阅者水平扩展能力 实时的消息订阅机制 亿级消息堆积能力 二、网络架构 三、特性 1. nameserver 相对来说，name ...
分类：
其他好文 时间：
2019-04-27 13:13:44
阅读次数：
118
小结： 1、 https://mp.weixin.qq.com/s/4rkgisFRJxokXZ4lyFXujw 京东JDK在大数据平台的探索与研究 臧琳 亿级流量网站架构 3月11日 ...
分类：
数据库 时间：
2019-04-26 14:51:55
阅读次数：
219
前言 之前不少人问我“能否分享一些分库分表相关的实践”，其实不是我不分享，而是真的经验不多🤣；和大部分人一样都是停留在理论阶段。 不过这次多少有些可以说道了。 先谈谈背景，我们生产数据库随着业务发展量也逐渐起来；好几张单表已经突破亿级数据，并且保持每天 200+W 的数据量增加。 而我们有些业务需 ...
分类：
其他好文 时间：
2019-04-16 14:21:47
阅读次数：
87
随着物联网进化加速，工业设备智能监测的要求越来越高。如何更智能、更低成本实现远程监控是我们解决的首要问题。ZWACS监控系统软件与硬件设备结合，连接您现有的智能通讯设备即可快速实现数据采集、处理和控制、远程定位、故障报警等多种功能，用户可通过手机登录ZWACS智能云监测APP，或访问智能云平台网页实时远程监测与控制，随时随地实时管理。适用于实验室、机房、库房、车间等，如医院、学校、水厂、药厂、化工
分类：
微信 时间：
2019-04-13 23:29:00
阅读次数：
248
