shuffle磁盘IO时间长 设置spark.local.dir为多个磁盘，并设置磁盘的IO速度快的磁盘，通过增加IO来优化shuffle性能 map|reduce数量大，造成shuffle小文件数目多 spark.shuffle.consolidateFiles为true，来合并shuffle中间 ...
分类：
其他好文 时间：
2017-10-06 10:38:25
阅读次数：
216
调优都是在场景限制之下。大部分选择并非一定。做测试来寻找瓶颈。（shuffle操作数量、RDD持久化操作数量以及gc） 开发调优、资源调优、数据倾斜调优、shuffle调优几个部分。 （涉及代码质量（api及数据结构），参数，数据质量，考虑内存与网络而选择的模式（广播、序列化），官网建议） RDD（ ...
分类：
其他好文 时间：
2017-10-06 10:28:52
阅读次数：
147
random sheme or say naive input： k， set of n points place k centroids at random locations 随机选 repeat the follow operations until convergence 重复到收敛 --f ...
分类：
其他好文 时间：
2017-09-23 10:44:38
阅读次数：
196
zh.wikipedia.org/wiki/凸優化 以下问题都是凸优化问题，或可以通过改变变量而转化为凸优化问题：[5] 最小二乘 线性规划 线性约束的二次规划 半正定规划 Convex function Convex minimization is a subfield of optimizati ...
分类：
其他好文 时间：
2017-09-17 22:50:54
阅读次数：
160
梯度下降法，是当今最流行的优化（optimization）算法，亦是至今最常用的优化神经网络的方法。本文旨在让你对不同的优化梯度下降法的算法有一个直观认识，以帮助你使用这些算法。我们首先会考察梯度下降法的各种变体，然后会简要地总结在训练（神经网络或是机器学习算法）的过程中可能遇到的挑战。 目录： 梯 ...
分类：
编程语言 时间：
2017-09-16 22:05:54
阅读次数：
278
深度解读最流行的优化算法：梯度下降 By 机器之心2016年11月21日 15:08 梯度下降法，是当今最流行的优化（optimization）算法，亦是至今最常用的优化神经网络的方法。本文旨在让你对不同的优化梯度下降法的算法有一个直观认识，以帮助你使用这些算法。我们首先会考察梯度下降法的各种变体， ...
分类：
编程语言 时间：
2017-09-15 12:11:20
阅读次数：
704
什么是SEO呢 英文为“Search Engine Optimization”，中文名为“搜索引擎优化”。SEO是指通过对网站进行站内优化和修复(网站Web结构调整、网站内容建设、网站代码优化和编码等)和站外优化，从而提高网站的网站关键词排名以及公司产品的曝光度。通过搜索引擎查找信息是当今网民们寻找 ...
分类：
其他好文 时间：
2017-09-15 01:50:04
阅读次数：
251
原文地址：An overview of gradient descent optimization algorithms An overview of gradient descent optimization algorithms Note: If you are looking for a re ...
分类：
其他好文 时间：
2017-09-14 16:57:40
阅读次数：
252
Windows Desktop Optimization.bat ...
After optimization of structural solution ， I must prepare the bom and drawing circuit diagram as soon as possible. 1 selection the suitable component ...
分类：
其他好文 时间：
2017-09-07 19:29:44
阅读次数：
231
