码迷,mamicode.com
首页 > 其他好文 > 详细

pytorch入门与实战---torchtext的应用

时间:2020-06-16 20:12:25      阅读:53      评论:0      收藏:0      [点我收藏+]

标签:datasets   常见   图片   info   item   bat   框架   数据预处理   voc   

1.torchtext的一些API

torchtext.data.Example : 用来表示一个样本,数据+标签
torchtext.vocab.Vocab: 词汇表相关
torchtext.data.Datasets: 数据集类,__getitem__ 返回 Example实例
torchtext.data.Field : 用来定义字段的处理方法(文本字段,标签字段)
创建 Example时的 预处理
batch 时的一些处理操作。
torchtext.data.Iterator: 迭代器,用来生成 batch
torchtext.datasets: 包含了常见的数据集.
2.torchtext简介

 

Torchtext 是一个非常强有力的库,她可以帮助我们解决 文本的预处理问题。为了能够更好的利用这个工具,我们需要知道她可以做什么,不可以做什么,也要将每个API和其我们想要的做的事情联系起来。另外一个值得夸赞的一点是,Torchtext 不仅可以和 pytorch 一起用,还可以和其它深度学习框架(tf,mxnet,…)。

技术图片

 

3.TorchText 的数据预处理流程

 

pytorch入门与实战---torchtext的应用

标签:datasets   常见   图片   info   item   bat   框架   数据预处理   voc   

原文地址:https://www.cnblogs.com/luckyplj/p/13143953.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!