Redis介绍 开源 内存存储 数据结构存储 1.字符串(数字) 2.列表 3.hash 4.set 集合 5.sorted set 有序集合 用途 ：数据库 缓存 消息队列(发布和订阅) 内建主从复制,自动进行分片完成数据分布式存储 单进程 cpu资源占用率小 主要是占用内存资源 Redis持久化 ...
分类：
其他好文 时间：
2018-07-22 22:29:34
阅读次数：
214
在线学习通俗的讲指的是在线上实时接受数据并对模型进行训练更新，这里所说的模型可以是线性回归，逻辑回归，神经网络等等，所解决的问题可以是分类也可以是回归。在现实中在线学习主要应用在搜索排名，广告点击等领域，其优势体现在以下几点： 训练数据无需满足独立同分布条件，数据分布可以随时间变化； 无需大量数据预 ...
分类：
其他好文 时间：
2018-07-22 20:02:20
阅读次数：
217
在“高并发，海量数据，分布式，NoSql，云计算......”概念满天飞的年代，相信不少朋友都听说过甚至常与人提起“集群，负载均衡”等，但不是所有人都有机会真正接触到这些技术（其实我也是前段时间学到了才开始了解的），也不是所有人都真正理解了这些“听起来很牛的”技术名词。下面简单解释一下吧。 集群(C ...
分类：
其他好文 时间：
2018-07-18 21:38:05
阅读次数：
142
在项目中，随着时间的推移，数据量越来越大，程序的某些功能性能也可能会随之下降，那么此时我们不得不需要对之前的功能进行性能优化。如果优化方案不得当，或者说不优雅，那可能将对整个系统产生不可逆的严重影响。 此篇博主为大家分享一些根据自己多年的大数据分布式工作经验总结出优化的方案。 1.实时sql优化：就 ...
分类：
数据库 时间：
2018-07-18 19:02:02
阅读次数：
178
大数据这个词也许几年前你听着还会觉得陌生，但我相信你现在听到hadoop这个词的时候你应该都会觉得“熟悉”！越来越发现身边从事hadoop开发或者是正在学习hadoop的人变多了。作为一个hadoop入门级的新手，你会觉得哪些地方很难呢？运行环境的搭建恐怕就已经足够让新手头疼。如果每一个发行版hadoop都可以做到像大快DKHadoop那样把各种环境搭建集成到一起，一次安装搞定所有，那对于新手来说将是件多么美妙的事情！
分类：
其他好文 时间：
2018-07-17 16:25:56
阅读次数：
213
不均衡学习的抽样方法 通常情况下，在不均衡学习应用中使用抽样方法的目的就是为了通过一些机制改善不均衡数据集，以期获得一个均衡的数据分布。 研究表明，对于一些基分类器来说，与不均衡的数据集相比一个均衡的数据集可以提高全局的分类性能。数据层面的处理方法是处理不均衡数据分类问题的重要途径之一，它的实现方法 ...
分类：
其他好文 时间：
2018-07-12 10:34:19
阅读次数：
620
a． 网站架构图：2 b． 普通数据之间的同步方案：2 d． 数据库的同步方案：2 e． 互联网公司从初期到后期的数据库架构拓展3 f． 数据库主从复制解决的问题3 ① 负载均衡 3 ② 数据备份 3 ③ 数据分布 3 ④ 升级测试 3 g． 主从复制原理 画图 ，每个人必须会，面试必备：3 h． ...
分类：
其他好文 时间：
2018-07-09 15:20:22
阅读次数：
178
1 复制概述 Mysql内建的复制功能是构建大型，高性能应用程序的基础。将Mysql的数据分布到多个系统上去，这种分布的机制，是通过将Mysql的某一台主机的数据复制到其它主机（slaves）上，并重新执行一遍来实现的。复制过程中一个服务器充当主服务器，而一个或多个其它服务器充当从服务器。主服务器将 ...
分类：
数据库 时间：
2018-07-09 13:30:24
阅读次数：
199
ceph是分布式存储，其中对于数据的存储规则是一个重点和难点。比如每个数据块的数据备份是3份，3份数据是怎么分布的？ceph的crush 就是解决数据分布规则的问题。 应用端直接使用的是pool，pool是由存储的基本单位pg组成，pg分布在磁盘逻辑单元osd上，osd一般是对应一块物理硬盘，osd分布在
分类：
其他好文 时间：
2018-07-09 12:28:13
阅读次数：
2313
