大数据分析技术:改进已有数据挖掘和机器学习技术;开发数据网络挖掘、特异群组挖掘、图挖掘等新型数据挖掘技术;突破基于对象的数据连接、相似性连接等大数据融合技术;突破用户兴趣分析、网络行为分析、情感语义分析等面向领域的大数据挖掘技术。 数据挖掘就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中,提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。 数据挖掘涉及的技
分类:
其他好文 时间:
2020-09-17 20:50:00
阅读次数:
28
参考的一位大神的Blog,记录一下,便于以后复习。我是初学者,难免有许多错误的地方,恳请各位大神批评指正。 关于线性回归的理论,有很多优秀的课程(比如:吴恩达的机器学习课程)可供参考,这里直接进行代码实现,并对必要的地方进行解释。 1 import torch as tc #简写成tc便于编写代码 ...
分类:
其他好文 时间:
2020-09-17 18:10:13
阅读次数:
33
机器学习 机器学习的本质就是借助数学模型理解数据。当给模型装上可以适应观测数据的可调参数时,“学习”就开始了;此时的程序被认为具有从数据中“学习”的能力。一旦模型可以拟合旧的观测数据,那么它们就可以预测并解释新的观测数据。 机器学习的分类 机器学习应用的定性示例 小结 Scikit-Learn 而从 ...
分类:
其他好文 时间:
2020-09-17 16:48:02
阅读次数:
15
概率分布 假设每一个随机变量都符合高斯分布,那么根据已有的数据,就可以得到$\mu$ 和$\sigma$ 的估计值,从而得到其分布函数,然后就可以针对预测数据进行预测,针对多维数据,采用高维高斯分布,每一维度都是独立的,并且都符合高斯分布,计算出每一维度的高斯分布函数,可以得到多维高斯分布函数,然后 ...
分类:
其他好文 时间:
2020-09-12 21:12:57
阅读次数:
40
很多同学表示:从0到1的文章很多,可面对复杂问题,该怎么搭建数据分析思路呢?首先,“复杂”一词在不同等级的数据分析师里含义不同。对小白而言,领导传达命令的时候,有“模型”俩字的就是复杂问题,一听“模型”,新人就开始狂翻《西瓜书》《统计学习》《机器学习》誓要与“模型”血战300回合。而有经验的同学都知道,企业里真正复杂的才不是这些。来看个具体例子:场景:电商行业(纸质书、视频光盘等商品为主),客服领
分类:
其他好文 时间:
2020-09-07 18:55:40
阅读次数:
34
1、什么叫回归算法: 常见的回归算法有: 线性回归、Logistic回归、Softmax回归...... ① 回归算法属于一种有监督学习 ② 回归算法是一种比较常用的机器学习算法,用来建立自变量(x)与因变量(y)之间的关系;从机器学习的角度来讲,用于构建一个算法模型(函数)来做属性(x)与标签(y ...
分类:
编程语言 时间:
2020-09-03 16:55:20
阅读次数:
39
我们筛选了云原生技术大会上 13 场有代表性的演讲重新编排成书,旨在将阿里巴巴云原生之路上宝贵的经验、理念和思想,提供给广大正在或准备踏上云原生之旅的开发者一些切实有用的参考。
分类:
其他好文 时间:
2020-09-02 18:11:16
阅读次数:
68
前言为了进行机器学习工程,首先要部署一个模型,在大多数情况下作为一个预测API。为了使此API在生产中工作,必须首先构建模型服务基础设施。这包括负载平衡、扩展、监视、更新等等。乍一看,所有这些工作似乎都很熟悉。Web开发人员和DevOps工程师多年来一直在自动化微服务基础设施。当然,我们可以重新定位他们的工具?不幸的是,我们不能。虽然ML的基础结构与传统的DevOps类似,但它与ML的特殊性足以使
分类:
编程语言 时间:
2020-09-02 16:55:22
阅读次数:
67
问题情形 使用Python SDK在连接到数据库后,连接数据库获取数据成功,但是在Pandas中用 to_sql 反写会数据库时候报错。错误信息为:ProgrammingError: ('42000', "[42000] [Microsoft][SQL Server Native Client 11 ...
分类:
数据库 时间:
2020-08-28 15:02:00
阅读次数:
75
一、模型评估与选择 2.2.1留出法 1、直接将数据集划分为两个互斥的集合,即D=sUt,s∩t=空集 2、在s上训练出模型,用t来评估其测试误差 3、s/t的划分尽可能保持数据分布的一致性,至少要保持样本的类别比例相似 4、若s,t中的样本比例差别很大,则误差估计将由训练/测试数据分布的差异而产生 ...
分类:
其他好文 时间:
2020-08-28 11:48:55
阅读次数:
52