SHELL（壳） SHELL(壳）充当人与内核的翻译官。默认终端Bash(Bourne-Again SHell)解析器。 命令名称 [命令参数] [命令对象] 长格式 man --help 短格式 man -h 1.man 执行查看命令 2.echo 例：#echo Linuxprobe.Com 注 ...
分类：
系统相关 时间：
2019-01-06 13:40:14
阅读次数：
224
Python十分适合用来开发网页爬虫，理由如下：1、抓取网页自身的接口比较与其他静态编程语言，如java，c#，c++，python抓取网页文档的接口更简练；比较其他动态脚本语言，如perl，shell，python的urllib2包供给了较为完整的访问网页文档的API。（当然ruby也是很好的挑选 ...
分类：
编程语言 时间：
2018-12-26 15:40:25
阅读次数：
196
cut 一、cut命令 功能：cut命令可以从一个文本文件/文本流中提取文本列 语法： sed awk ...
分类：
系统相关 时间：
2018-12-07 21:58:22
阅读次数：
260
什么是PyQuery PyQuery是一个类似于jQuery的解析网页工具，使用lxml操作xml和html文档，它的语法和jQuery很像。和XPATH，Beautiful Soup比起来，PyQuery更加灵活，提供增加节点的class信息，移除某个节点，提取文本信息等功能。 初始化PyQuer ...
分类：
其他好文 时间：
2018-12-03 10:33:30
阅读次数：
233
TF IDF介绍 TF IDF是NLP中一种常用的统计方法，用以评估一个字词对于一个文件集或一个语料库中的其中一份文件的重要程度，通常用于提取文本的特征，即关键词。字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。 &e ...
分类：
其他好文 时间：
2018-11-02 12:56:40
阅读次数：
275
任务要求：提取PDF文档中的文本提取PDF文档中的图片所需工具：FreeSpire.PDFfor.NET4.3（免费版）实现代码：【示例1】提取文本usingSpire.Pdf;usingSystem;usingSystem.IO;usingSystem.Text;namespaceExtractText{classProgram{staticvoidMain(string[]args){//加载
#!python3 #-*- coding:utf8 -*- #PyPDF2可能会打不开某些pdf文档，也不能提取图片，图表或者其他媒介从PDF文件中。但是它能提取文本从PDF中，转化为字符。 import PyPDF2 #以二进制方式 读模式打开一个pdf文件 pdfFileObj=open('e ...
分类：
其他好文 时间：
2018-08-28 15:31:45
阅读次数：
670
Lucene索引过程分为3个主要操作步骤：将原始文档转换成文本、分析文本、将分析好的文本保存至索引中 一、提取文本和创建文档 从 pdf、word等非纯文本格式文件中，提取文本格式信息。建立起对应的，包含各个域的文档后，就可以对这些文本信息进行分析。 使用 Tika框架实现 二、分析文档 调用 In ...
分类：
Web程序 时间：
2018-07-23 18:41:33
阅读次数：
227
一直在想requests的content和text属性的区别，从print 结果来看是没有任何区别 结论是：text 返回的是unicode 型的数据，一般是在网页的header中定义的编码形式。 content返回的是bytes，二级制型的数据。 也就是说你如果想要提取文本就用text 但是如果你 ...
分类：
编程语言 时间：
2018-07-18 23:32:47
阅读次数：
335
sort 命令 对 File 参数指定的文件中的行排序，并将结果写到标准输出。如果 File 参数指定多个文件，那么 sort 命令将这些文件连接起来，并当作一个文件进行排序。 选项与参数：-f ：忽略大小写的差异，例如 A 与 a 视为编码相同；-b ：忽略最前面的空格符部分；-M ：以月份的名字 ...
分类：
系统相关 时间：
2018-07-01 16:54:40
阅读次数：
244
