某互联网公司广告平台技术架构 演化 水平扩展一切 并行化，异步调用 演化 Randy的可扩展架构7原则 ? 按功能分区(Partition by Function) ? 水平切分 ? 避免事务 ? 异步解耦 ? 次序流改进为异步 ? 虚拟化所有层次 ? 适当使用缓存 原则 ? 先业务，后技术；先逻辑... ...
分类：
其他好文 时间：
2016-08-27 12:42:13
阅读次数：
142
逻辑回归信用评分、广告点击率预估、推荐预估中都有很重要的地位，转腾讯冯杨的一篇逻辑回归并行化的文章。...
分类：
其他好文 时间：
2016-07-13 16:32:21
阅读次数：
174
好文推荐！！！！！ 原文见：http://blog.csdn.net/dm_vincent/article/details/40856569 Java 8中同时存在面向对象编程(OOP)和函数式编程(FP, Functional Programming)这两种编程范式。实际上，这两种范式并不矛盾，只 ...
分类：
编程语言 时间：
2016-07-12 17:16:43
阅读次数：
313
弹性分布式数据集（RDD） Spark是以RDD概念为中心运行的。RDD是一个容错的、可以被并行操作的元素集合。创建一个RDD有两个方法：在你的驱动程序中并行化一个已经存在的集合；从外部存储系统中引用一个数据集。RDD的一大特性是分布式存储，分布式存储在最大的好处是可以让数据在不同工作节点并行存储， ...
分类：
编程语言 时间：
2016-07-08 21:46:20
阅读次数：
392
systemd详解 CentOS 7 使用systemd替换了SysV。Systemd目的是要取代Unix时代以来一直在使用的init系统，兼容SysV和LSB的启动脚本，而且够在进程启动过程中更有效地引导加载服务。 systemd的特性有： 支持并行化任务 同时采用socket式与D-Bus总线式 ...
分类：
其他好文 时间：
2016-07-07 09:42:32
阅读次数：
187
原文链接 许多电影探索了人类只有 100% 充分利用大脑认知能力后才能完成的伟大事情。 尽管大脑利用率仅达到 10% 的说法依然存在，但事实的真相是，日常活动的完成几乎使用人类大脑这一有机整体的每个部分。1 事实上，尽管大脑只占身体重量的 3%，但却消耗 20% 的身体能量。 认为人类存在大量未开发 ...
分类：
编程语言 时间：
2016-07-06 20:23:35
阅读次数：
201
1、数据去重 "数据去重"主要是为了掌握和利用并行化思想来对数据进行有意义的筛选。统计大数据集上的数据种类个数、从网站日志中计算访问地等这些看似庞杂的任务都会涉及数据去重。下面就进入这个实例的MapReduce程序设计。 1.1 实例描述 对数据文件中的数据进行去重。数据文件中的每行都是一个数据。 ...
分类：
其他好文 时间：
2016-06-27 10:20:57
阅读次数：
139
本文将介绍R中的并行计算，并给出了一些常见的陷进以及避免它们的小技巧。
使用并行计算的原因就是因为程序运行时间太长。大部分程序都是可以并行化的，它们大部分都是Embarrassingly parallel。这里介绍几种可以并行化的方法：
Bootstrapping
交叉验证(Cross-validation)
(Multivariate Imputation by Chained Equation...
分类：
编程语言 时间：
2016-06-21 07:38:31
阅读次数：
208
rdd生成方式： 1) 并行化 2) 通过读取文件api方法生成 DataFrame生成方式： 1)从rdd生成 2)读取hive表生成 ...
分类：
数据库 时间：
2016-06-12 10:45:05
阅读次数：
166
systemd的特性有： 支持并行化任务 同时采用socket式与D-Bus总线式激活服务； 按需启动守护进程（daemon）； 利用Linux的cgroups监视进程； 支持快照和系统恢复； 维护挂载点和自动挂载点； 各服务间基于依赖关系进行精密控制。 一、由来 历史上Linux的启动一直采用in ...
分类：
其他好文 时间：
2016-06-11 17:18:53
阅读次数：
354
