码迷,mamicode.com
首页 >  
搜索关键字:pipeline    ( 303个结果
代码19
这是text_tech1文件的样子: 这是调用corenlp的命令行: java -mx4g -cp "*" edu.stanford.nlp.pipeline.StanfordCoreNLP\ -props StanfordCoreNLP-chinese.properties -file file ...
分类:其他好文   时间:2017-03-26 17:28:42    阅读次数:9
用 GStreamer 简化 Linux 多媒体开发
一、基本概念 GStreamer 作为 GNOME 桌面环境推荐的流媒体应用框架,采用了基于插件(plugin)和管道(pipeline)的体系结构,框架中的所有的功能模块都被实现成可以插拔的组件(component), 并且在需要的时候能够很方便地安装到任意一个管道上,由于所有插件都通过管道机制进 ...
分类:系统相关   时间:2017-03-22 12:46:58    阅读次数:14
Redis之Python 使用 Redis
Python 使用 Redis 参考文档: http://redis.cn/clients.html#python https://github.com/andymccurdy/redis-py 安装Redis 简单的redis操作 字符串string操作 pipeline操作 管道(pipelin ...
分类:编程语言   时间:2017-03-22 00:09:22    阅读次数:15
Jenkins
Jenkins插件-Build Pipeline Jenkins安装目录配置 JENKINS_HOME=/data/.jenkinsexport JENKINS_HOME JENKINS通用构建脚本 脚本使用方法: 脚本共可以使用六类参数,参数列表如下: 脚本内容如下: #!/bin/bash#CF ...
分类:其他好文   时间:2017-03-21 15:58:34    阅读次数:16
Spark机器学习
Spark机器学习Pipelines中的主要概念MLlib提供的API可以通过Pipelines将多个复杂的机器学习算法结合成单个pipeline或者单个工作流。这个概念和scikit-learn里的概念类似,根据官方的说法是,此抽象概念的设计灵感来自于scikit-learn。·DataFrame:通过SparkSQL组件里的DataFram..
分类:其他好文   时间:2017-03-08 01:27:33    阅读次数:14
mongodb
http://www.tuicool.com/articles/2iqUZj http://www.runoob.com/mongodb/mongodb-aggregate.html http://www.cnblogs.com/AlvinLee/p/6085442.html https://doc ...
分类:数据库   时间:2017-03-08 01:07:46    阅读次数:22
爬虫7:Scrapy-爬网页
用Scrapy做爬虫分为四步 新建项目 (Project):新建一个新的爬虫项目 明确目标(Items):明确你想要抓取的目标 制作爬虫(Spider):制作爬虫开始爬取网页 存储内容(Pipeline):设计管道存储爬取内容 上一章节做了创建项目,接着用上一次创建的项目来爬取网页 网上很多教程都是 ...
分类:Web程序   时间:2017-03-07 18:06:48    阅读次数:26
爬虫框架Scrapy之Item Pipeline
Item Pipeline 当Item在Spider中被收集之后,它将会被传递到Item Pipeline,这些Item Pipeline组件按定义的顺序处理Item。 每个Item Pipeline都是实现了简单方法的Python类,比如决定此Item是丢弃而存储。以下是item pipeline ...
分类:其他好文   时间:2017-03-06 01:32:12    阅读次数:39
爬虫框架Scrapy之手机抓包案例
手机App抓包爬虫 1. items.py 2. spiders/douyu.py 3. 设置setting.py 4. pipelines.py 在项目根目录下新建main.py文件,用于调试 执行程序 ...
分类:移动开发   时间:2017-03-06 01:23:09    阅读次数:28
淘搜索之网页抓取系统分析与实现(4)- 实现&总结
以一淘搜索的crawler为核心展开的分析到此基本结束了,除了django和mysql部分没有涉及,其它部分都进行了test,尤其是围绕crawler,所展开的分析和实现主要有: 1. 分布式crawler与分布式pipeline处理。 使用scrapy+redis实现,用到了scrapy+scra ...
分类:Web程序   时间:2017-03-05 13:12:11    阅读次数:27
303条   1 2 3 4 ... 31 下一页
© 2014 mamicode.com 版权所有 京ICP备13008772号-2
迷上了代码!