主要分享了Coursera 机器学习相关课程材料，包括练习题与我的Matlab解答。 课程涉及技术：梯度下降、线性回归、监督/非监督学习、分类/逻辑回归、正则化、神经网络、梯度检验/数值计算、模型选择/诊断、学习曲线、评估度量、SVM、K-Means聚类、PCA、Map Reduce & Data ...
分类：
系统相关 时间：
2015-07-11 06:41:10
阅读次数：
442
高数里面有提到梯度的概念，重温一下。 梯度:设函数z=f(x,y)在平面区域D内有一街连续偏导数，则函数在D内的每一个点P(x,y)处的梯度为 梯度下降：利用负梯度方向决定每次迭代的方向，从而使目标函数逐步减小。梯度下降法又称为最速下降法。 简单形式：x(k+1)=x(k)-a*...
分类：
其他好文 时间：
2015-07-06 19:49:16
阅读次数：
123
Gradient Descent续上文。
gradient descent的用途：
可以用于求解一个函数f(x1,x2,......xn)f(x_1,x_2,......x_n)的local 最小值。
关于local最小值：
一个函数可能有多个local最小值，所谓local最小值是当（x1,x2,......xnx_1,x_2,......x_n）的某一个实例，当在的该实例的无限小的附近...
分类：
编程语言 时间：
2015-07-05 15:11:33
阅读次数：
173
为什么要了解点数学基础学习大数据分布式计算时多少会涉及到机器学习的算法，所以理解一些机器学习基础，有助于理解大数据分布式计算系统（例如spark）的设计。机器学习中一个常见的就是gradient descent算法，是线性回归问题的一个基础算法。gradient是数学概念。Gradient假设一个函数有n个自变量：f(x1,x2......xn)f(x_1,x_2......x_n)，且每个x都是标...
分类：
编程语言 时间：
2015-07-05 09:40:29
阅读次数：
147
前言
从linux camera驱动， 到qcom平台 camera图像效果，再到opencv图像处理，终于进入本篇的机器学习的开始。
前路漫漫，吾只愿风雨兼程。
简介
本篇开始是学习机器学习的第一篇，本章主要是使用opencv，用c语言实现机器学习之一元线性回归、梯度下降法。
关于这部分的原理，可以参考： 1、 http://studentdeng.github.io/blo...
分类：
其他好文 时间：
2015-07-03 15:46:50
阅读次数：
178
从上一篇可知，在监督学习里最重要的就是确定假想函数h(θ),即通过使得代价函数J(θ)最小，从而确定h(θ).
上一篇通过梯度下降法求得J(θ)最小，这篇我们将使用矩阵的方法来解释。
1、普通最小二乘法
利用矩阵的方式，m个训练集（x,y）可以如下表示：
因此,所以
根据 可知，
为使J(θ)最小，通过求导推导可得：
...
分类：
其他好文 时间：
2015-07-02 12:09:01
阅读次数：
207
关注了Q18~Q20三道编程作业题。这三道题都与Logistic Regression相关。Q18~19是用全量梯度下降实现Logistic Regression；Q20要求用随机梯度下降实现Logistic Regression。这三题的代码都何在一个py文件中了。个人觉得，这道题的程序设计，完全...
分类：
其他好文 时间：
2015-06-28 16:49:11
阅读次数：
266
%% 方法一：梯度下降法x = load('E:\workstation\data\ex3x.dat');y = load('E:\workstation\data\ex3y.dat');x = [ones(size(x,1),1) x];meanx = mean(x);%求均值sigmax = s...
分类：
其他好文 时间：
2015-06-27 19:50:56
阅读次数：
124
这一节课主要讲如何用logistic regression做分类。 在误差衡量问题上，选取了最大似然函数误差函数，这一段推导是难点。 接下来是如何最小化Ein，采用的是梯度下降法，这个比较容易。 参考：http://beader.me/mlnotebook/section3/logistic-re....
分类：
其他好文 时间：
2015-06-25 22:56:17
阅读次数：
226
BP(backpropgationalgorithm )：后向传导算法，顾名思义就是从神经网络的输出(顶层)到输入(底层)进行求解。那么求解什么呢，求解的就是神经网络中的参数的导数，即参数梯度方向，从而就可以使用梯度下降等求解无约束问题(cost function的最值)的方法求得最终的参数。神经网络前向传播的过程比较简单，这里不做讲解(如果不了解，可以参看文献)。
1.问题分析
1.1 Co...
分类：
编程语言 时间：
2015-06-21 02:09:05
阅读次数：
248
