建立好项目以后,在项目文件内scrapy会搭好框架,我们只需要按照框架设置. 先定义Item 它是保存爬取到的数据的容器,其使用方法和python的字典类似,并且提供了额外保护机制来避免拼写错误导致的未定义字段错误. 然后编写爬虫类spider, spider是用户编写用于从网站上爬取数据的类.其包 ...
分类：
其他好文 时间：
2019-03-08 22:02:52
阅读次数：
191
核心容器 ：是spring框架的核心，用户编写的程序文件发布到服务器后，由spring负责管理、可以将spring看作是服务器与应用程序的中间管理软件。核心容器包括了：Beans、Core、Context、ExpressionLanguage 1、core和beans模块提供了整个框架最基础的部分。 ...
分类：
编程语言 时间：
2019-02-28 21:06:28
阅读次数：
193
Spark运行模式 一：Spark 运行架构介绍 相关术语概念详解： Application：指的是用户编写的Spark应用程序，包含了一个Driver功能的代码和分布在集群中多节点上运行的Executor代码。 Driver：Spark中的Driver就是运行Application的main()函 ...
分类：
其他好文 时间：
2019-02-23 10:48:52
阅读次数：
205
2019/2/18星期一MapReduce计算框架Mapreduce是一个分布式的运算编程框架，核心功能是将用户编写的核心逻辑代码分布式地运行在一个集群的很多服务器上；为什么要MAPREDUCE（1）海量数据在单机上处理因为硬件资源限制，无法胜任，因为需要采用分布式集群的方式来处理。（2）而一旦将单机版程序扩展到集群来分布式运行，将极大地增加程序的复杂度和开发难度（3）引入mapreduce框架后
分类：
其他好文 时间：
2019-02-18 18:54:04
阅读次数：
174
Scrapy 1、python爬虫框架Scrapy 爬虫框架是实现爬虫功能的一个软件结构和功能组建集合 爬虫框架是一个半成品，能够帮助用户实现专业网络爬虫 2、scrapy爬虫框架“5+2”结构解析 2.1、Engine：框架核心，不需用户编写 2.2、Downloader：下载网页，不需用户修改 ...
分类：
编程语言 时间：
2019-02-09 19:32:30
阅读次数：
182
命名空间主要为了解决用户编写的代码与PHP内部的类/函数/常量或第三方类/函数/常量之间的名字冲突。不过并不是你定义了使用命名空间的类，就可以在任何地方随意使用了，需要在程序运行时将定义命名空间的类文件加载（include or require）进来。但是如果将所有的命名空间都提前加载进来，显示是不 ...
分类：
Web程序 时间：
2019-01-13 19:05:08
阅读次数：
235
1.MapReduce的介绍： MapReduce是一个分布式运算程序的编程框架，核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个Hadoop集群上。 MapReduce大体上分三个部分： -MRAppMaster：MapReduceApplicationMaster，分配任务，协调任务
分类：
其他好文 时间：
2019-01-11 20:41:52
阅读次数：
204
Flink核心是一个流式的数据流执行引擎,其针对数据流的分布式计算提供了数据分布、数据通信以及容错机制等功能 Flink提供了诸多更高抽象层的API以便用户编写分布式任务: DataSet API, 对静态数据进行批处理操作,将静态数据抽象成分布式的数据集,用户可以方便地使用Flink提供的各种操作 ...
分类：
其他好文 时间：
2018-12-09 16:31:13
阅读次数：
145
在centos7上部署svn+apache，并通过http方式访问
分类：
Web程序 时间：
2018-12-03 20:24:39
阅读次数：
245
R语言是一种为统计计算和图形显示而设计的语言环境。是贝尔实验室（Bell Laboratory）的Rick Becker、John Chambers和Allan Wilks开发的S语言的一种实现，提供了一系列统计和图形显示工具。 R语言是面向对象的一种编程语言，是一套开源的数据分析解决方案，由一个庞 ...
分类：
编程语言 时间：
2018-11-30 13:47:41
阅读次数：
225
