Learning from Imbalanced Classes AUGUST 25TH, 2016 If you’re fresh from a machine learning course, chances are most of the datasets you used were fair ...
分类：
其他好文 时间：
2016-08-28 01:04:14
阅读次数：
351
比对梯度下降和随机梯度下降： 梯度下降：每一次迭代耗时长，在大数据集上处理速度慢，对参数敏感性适中 随机梯度下降：每一次迭代耗时短，在大数据集上处理速度较快，但对参数非常敏感 随机梯度下降能更快地达到较大的对数似然值，但噪声更大 步长太小，收敛速度太慢；步长较大，震荡较大；步长异常大，不收敛 ...
分类：
其他好文 时间：
2016-08-15 12:46:22
阅读次数：
116
什么是RDD? 官方对RDD的解释是：弹性分布式数据集，全称是Resilient Distributed Datasets。RDD是只读的、分区记录的集合。RDD只能基于在稳定物理存储中的数据集和其他已有的RDD上执行确定性操作来创建。这些确定性操作称为转换，如map、filter、groupBy、 ...
分类：
Web程序 时间：
2016-07-31 18:59:42
阅读次数：
186
Spark版本：1.6.2
概览Spark SQL用于处理结构化数据，与Spark RDD API不同，它提供更多关于数据结构信息和计算任务运行信息的接口，Spark SQL内部使用这些额外的信息完成特殊优化。可以通过SQL、DataFrames API、Datasets API与Spark SQL进行交互，无论使用何种方式，SparkSQL使用统一的执行引擎记性处理。...
分类：
数据库 时间：
2016-07-21 13:00:22
阅读次数：
524
Spark版本：1.6.2 概览 Spark SQL用于处理结构化数据，与Spark RDD API不同，它提供更多关于数据结构信息和计算任务运行信息的接口，Spark SQL内部使用这些额外的信息完成特殊优化。可以通过SQL、DataFrames API、Datasets API与Spark SQ ...
分类：
数据库 时间：
2016-07-21 12:24:47
阅读次数：
343
Spark
阅读官方文档
Spark Quick Start
Spark Programming Guide
Spark SQL, DataFrames and Datasets Guide
Cluster Mode Overview
Spark Standalone Mode
重要的概念：resilient distributed dataset (RDD), a collection...
分类：
其他好文 时间：
2016-07-15 21:44:33
阅读次数：
340
查询表达式(LINQ)简介 1、LINQ是Language Integrated Query的简称，它是集成在.NET编程语言中的一种特性。 2、LINQ包括五个部分：LINQ to Objects、LINQ to DataSets、LINQ to SQL、LINQ to Entities、LINQ ...
分类：
其他好文 时间：
2016-07-08 10:22:26
阅读次数：
122
首先选中波形，然后点击file datasets。 选中sim文件，然后点击save as。 对所保存的文件命名。完成之后点击done即可。 在完成上述的加载波形之后，会有多个.wlf文件，如上图所示，若要产生对比波形，需要将某个.Wlf中的信号重新加载过来即可，如下图操作。 选中ex1.wlf文件 ...
分类：
其他好文 时间：
2016-06-29 13:10:17
阅读次数：
152
Gradient Descent with Large DatasetsLearning With Large Datasets
我们已经知道，得到一个高效的机器学习系统的最好的方式之一是，用一个低偏差(low bias)的学习算法，然后用很多数据来训练它。 下面是一个区分混淆词组的例子：
但是，大数据存在一个问题，当样本容量m=1,000时还行，但是当m=100,000,000呢？请看一下...
分类：
系统相关 时间：
2016-06-24 15:21:15
阅读次数：
194
##用pandas分析电影数据Lift is short, use Python.用Python做数据分析，pandas是Python数据分析的重要包，其他重要的包：numpy、matplotlib .安装pandas(Linux, Mac, Windows皆同)：pip install pandas电影数据来源：http://grouplens.org/datasets/movielens/
下载...
分类：
其他好文 时间：
2016-05-30 14:49:35
阅读次数：
546
