1.现状 (1) 模型层数加深 (2) 模型参数量变大 (3) 难以训练 (4) 难以fine-tune 2. 单层参数量和占用内存分析 层参数设置参数量与占用内存 1 layer 0.5Billion 0.5Billion * 4Byte = 2GB embedding layer 64K tok ...
分类：
其他好文 时间：
2020-07-02 00:27:27
阅读次数：
75
使用预训练模型可以帮助其他复现者有效达到论文结果，将下载好的模型放入指定文件夹 高/低方差：预测值的变化范围 高/低偏差：预测值和真实值间的差距，偏差越大，越偏离真实数据 训练要求：低偏差，低方差，这样预测准确率较高，并且模型鲁棒性较好 ground truth 有人将所有标注数据都叫做 groun ...
分类：
其他好文 时间：
2020-07-01 22:15:02
阅读次数：
57
时间：2020年5月20日-2020年6月28日 地点：线上 事情的起因 一、得知活动 这个活动当时是华工帮忙推广，所以华工的同学推荐给我了，非常感谢那位同学。 二、入营笔试 入营笔试有三道题，只做出了两道题，没有把题目记录下来有点可惜。 最后一题是一个规划问题： 记忆中大概是，蛋糕店有任务要完成N ...
分类：
其他好文 时间：
2020-07-01 22:07:47
阅读次数：
274
一、聊天机器人分类（1）按功能分类可分为：问答型聊天机器人、任务型聊天机器人、闲聊型聊天机器人。实现不同功能的聊天机器人所用技术也不尽相同，例如在做问答型聊天机器人时，我们需要提取问句中的焦点词汇，以此去三元组或知识图谱中检索，且为了提高检索的精度，常常需要对问句和关系进行分类操作。但是对于闲聊型聊天机器人则可以直接将其当做序列标注问题处理，将高质量的数据丢进深度学习模型中进行训练，最终得到目标m
分类：
其他好文 时间：
2020-07-01 20:42:03
阅读次数：
84
图像分类 KNN算法 KNN算法可用于图像分类，且根据K值的不同，分割边界也会受到比较大的影响。 KNN并不常用于如今的图像分类，原因主要有两点： 没有显式的训练过程，测试时每个测试样本点需要遍历所有样本点，找到K个最近邻的点，以确定分类。 距离计算标准（欧几里得、曼哈顿距离）公式在比较图像上并不适 ...
分类：
其他好文 时间：
2020-06-30 22:30:12
阅读次数：
57
算法、算力与数据是人工智能发展的三大基本要素。其中数据是基础，为算法提供了底层支撑。如果将算法比作一辆汽车，那么数据就是推动汽车前进的“燃料”。 目前，企业应用人工智能算法要经历研发、训练和落地三个阶段，每个阶段都需要有海量基础数据集的支撑。 在不同的阶段内，算法所处的状态不同，对于AI数据标注行业 ...
分类：
编程语言 时间：
2020-06-30 17:13:26
阅读次数：
51
原文地址：https://www.cnblogs.com/Wanggcong/p/4699932.html 一、批量学习 在监督学习的批量方法中，多层感知器的突出权值的调整在训练样本集合的所有N个例子都出现后进行，这构成了训练的一个回合。换句话说，批量学习的代价函数是由平均误差能量定义的。多层感知器 ...
分类：
其他好文 时间：
2020-06-30 16:03:27
阅读次数：
77
写在前面： 时代在变换，测试的领域和技术也在不断的变化着，所以时刻抱着一颗学习的心态，活到老学到老。 最近接触的是AI识别，模型识别方面，对于这个来说，自己绝对是一个门外汉，首先技术人员在讲解的时候，什么测试集、训练集之类的听着就比较晕乎乎。 然后各种的模型，算法及测试的方法，环境等没有任何一个人可 ...
分类：
其他好文 时间：
2020-06-30 14:42:52
阅读次数：
73
词向量运算(Operations on word vectors) 因为词嵌入的训练是非常耗资源的，所以ML从业职 都是 选择加载训练好 的 词嵌入数据集。 任务： 导入 预训练词向量，使用余弦相似性(cosine similarity)计算相似度 使用词嵌入来解决 “Man is to Woman ...
分类：
其他好文 时间：
2020-06-30 00:16:02
阅读次数：
71
