目录 大纲概述 数据集合 数据处理 预训练word2vec模型 一、大纲概述 文本分类这个系列将会有8篇左右文章，从github直接下载代码，从百度云下载训练数据，在pycharm上导入即可使用，包括基于word2vec预训练的文本分类，与及基于近几年的预训练模型（ELMo，BERT等）的文本分类。... ...
分类：
其他好文 时间：
2020-07-22 23:29:06
阅读次数：
83
目录 大纲概述 数据集合 数据处理 预训练word2vec模型 一、大纲概述 文本分类这个系列将会有8篇左右文章，从github直接下载代码，从百度云下载训练数据，在pycharm上导入即可使用，包括基于word2vec预训练的文本分类，与及基于近几年的预训练模型（ELMo，BERT等）的文本分类。... ...
分类：
其他好文 时间：
2020-07-22 23:28:22
阅读次数：
78
原文来自知乎，现摘录与此 https://zhuanlan.zhihu.com/p/67964081 首先这是一段mnist数据集的基本代码。 class Net(nn.Module): def __init__(self): super(Net, self).__init__() self.con ...
分类：
其他好文 时间：
2020-07-22 16:23:29
阅读次数：
105
##Task1 赛题理解 ####1.赛题理解 赛题名称：零基础入门NLP之新闻文本分类 赛题目标：入门自然语言处理，接触NLP的预处理、模型构建和模型训练等知识点 赛题任务：对新闻文本进行分类 ####2.学习目标 理解赛题背景与赛题数据 ####3.赛题数据 报名比赛后即可下载相应数据： 以匿名 ...
分类：
其他好文 时间：
2020-07-22 01:55:01
阅读次数：
81
1. 感知机原理 感知机是二分类的线性分类模型，本质上想找到一条直线或者分离超平面对数据进行线性划分 适用于线性可分的数据集，否则感知机不会收敛 假设有一个数据集$D = {(x_1, y_1), (x_2, y_2), ..., (x_N, y_N)}$，其中$x_i \in Rn$，即$x_i ...
分类：
其他好文 时间：
2020-07-21 23:19:19
阅读次数：
126
NLP——新闻文本处理：TASK1 赛题理解与nlp初识 1.数据读取 在竞赛主页下载好数据集利用pandas打开： #coding=utf-8 import pandas as pd #my_font = font_manager.FontProperties(fname="C:\Windows\ ...
分类：
其他好文 时间：
2020-07-21 23:13:12
阅读次数：
112
整理今天的代码…… 采用的是150条鸢尾花的数据集fishiris.csv # 读入数据，把Name列取出来作为标签（groundtruth） import pandas as pd data = pd.read_csv('fishiris.csv') print(data.head(5)) X = ...
分类：
编程语言 时间：
2020-07-21 09:45:22
阅读次数：
138
什么是Hive： 数据仓库软件，可以通过SQL读写和管理分布式存储的大型数据集，结构可以映射在已经存储的数据。用户可以通过命令行工具和JDBC连接到Hive。 Hive Commands： quit/exit：退出interactive shell reset：重置配置设定到默认值。 set =：设 ...
分类：
其他好文 时间：
2020-07-21 01:27:08
阅读次数：
119
sklearn的数据集 数据集划分 数据集接口介绍 数据集划分 前提：机器学习就是从数据中自动分析获得规律，并利用规律对未知数据进行预测。换句话说，我们的模型一定是要经过样本数据对其进行训练，才可以对未知数据进行预测的。 问题：我们得到数据后，是否将数据全部用来训练模型呢？ 当然不是！因为我们如果模 ...
分类：
其他好文 时间：
2020-07-21 01:08:37
阅读次数：
86
梯度下降法主要分为三种， 梯度下降法 随机梯度下降 小批量梯度下降 下面分别来介绍一下，这样更加有助于理解它们之间的联系。 梯度下降法 梯度下降使用整个训练数据集来计算梯度，因此它有时也被称为批量梯度下降 下面就以均方误差讲解一下，假设损失函数如下： 其中 是预测值， 是真实值，那么要最小化上面损失 ...
分类：
其他好文 时间：
2020-07-20 22:40:33
阅读次数：
75
