标签：读取文件 oam 处理 div href from 传统 das sha
1. 读邮件数据集文件，提取邮件本身与标签。
列表
numpy数组
2.邮件预处理
2.1 传统方法来实现
2.2 nltk库的安装与使用
pip install nltk
import nltk
nltk.download() # sever地址改成 http://www.nltk.org/nltk_data/
或
https://github.com/nltk/nltk_data下载gh-pages分支，里面的Packages就是我们要的资源。
将Packages文件夹改名为nltk_data。
或
网盘链接：https://pan.baidu.com/s/1iJGCrz4fW3uYpuquB5jbew 提取码：o5ea
放在用户目录。
----------------------------------
安装完成，通过下述命令可查看nltk版本：
import nltk
print nltk.__doc__
nltk.sent_tokenize(text) #对文本按照句子进行分割
nltk.word_tokenize(sent) #对句子进行分词
from nltk.corpus import stopwords
stops=stopwords.words(‘english‘)
*如果提示需要下载punkt
nltk.download(‘punkt’)
或 下载punkt.zip
https://pan.baidu.com/s/1OwLB0O8fBWkdLx8VJ-9uNQ 密码：mema
复制到对应的失败的目录C:\Users\Administrator\AppData\Roaming\nltk_data\tokenizers并解压。
nltk.pos_tag(tokens)
from nltk.stem import WordNetLemmatizer
lemmatizer = WordNetLemmatizer()
lemmatizer.lemmatize(‘leaves‘) #缺省名词
lemmatizer.lemmatize(‘best‘,pos=‘a‘)
lemmatizer.lemmatize(‘made‘,pos=‘v‘)
一般先要分词、词性标注，再按词性做词性还原。
def preprocessing(text):
sms_data.append(preprocessing(line[1])) #对每封邮件做预处理
import pandas as pd import nltk from nltk.book import * from nltk.corpus import stopwords #停用词处理 import re #标点符号处理 from nltk.stem import WordNetLemmatizer #词性处理 # nltk.download() # nltk.data.find(".") #查找安装nltk数据的地方 # # 分词第一种 # tokens=[] #用来存放单词 # for i in range(len(sms_data)): #每一条邮件内容数据 # for sents in nltk.sent_tokenize(sms_data[i]): #每一条数据进行句子分句 # for words in nltk.word_tokenize(sents): #每条数据进行句子分单词 # tokens.append(words) # tokens def preprocess(text): # 分词第二种 写成一行 tokens=[word for sents in nltk.sent_tokenize(text) for word in nltk.word_tokenize(sents)] #去除停用词 stops=stopwords.words(‘english‘) #英文单词中的停用词 tokens=[token for token in tokens if token not in stops] #不在停用词里面的话，就保留下来 # 去掉短语3的单词并且用lower()方法实现大写转小写 tokens=[token.lower() for token in tokens if len(token)>=3] # 去除标点 tokens=[re.sub(‘[!,;:?"\\...\/]+‘,‘‘,token) for token in tokens ] tokens=[token for token in tokens if token!=‘‘] # 词性还原 tags=nltk.pos_tag(tokens) lemmatizer=WordNetLemmatizer() tokens= [lemmatizer.lemmatize(token,pos=‘v‘) for token in tokens]#动词，时态 tokens = [lemmatizer.lemmatize(token, pos=‘a‘) for token in tokens] # 形容词，比较级 tokens = [lemmatizer.lemmatize(token, pos=‘n‘) for token in tokens] # 名词，单复数 return tokens if __name__=="__main__": # 读取文件，根据\t区分,把数据根据标签和内容分开 emails = pd.read_csv("./text.txt", encoding=‘utf-8‘, sep="\t"，header=None) sms_label=[]# sms_label #存放标签，是普通邮件还是垃圾邮件 new_data=[]# sms_data #存放数据即邮件内容，文本 for i in range(emails.shape[0]): sms_label.append(emails.iloc[i, 0]) new_data.append(preprocess(emails.iloc[i, 1])) print("邮件数据的标签为：\n", sms_label) print("数据预处理后邮件数据的数据为：\n", new_data) new_email = pd.DataFrame({"邮件种类（普通/垃圾）": sms_label, "文本特征": new_data}) print(new_email)
3. 训练集与测试集
4. 词向量
5. 模型
标签：读取文件 oam 处理 div href from 传统 das sha
原文地址：https://www.cnblogs.com/SZZZ/p/13126609.html
