Scrapy Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 其可以应用在数据挖掘，信息处理或存储历史数据等一系列的程序中。其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的， 也可以应用在获取API所返回的数据(例如 Amazon Associates Web Ser ...
分类：
其他好文 时间：
2018-01-24 17:02:29
阅读次数：
171
亚马逊推出了免费的云主机服务器 Amazon EC2，它是通过安全密钥来访问主机的。问题是下载的密钥在SecureCRT 上无法直接使用，需要转换。 下面的方法可以在自己的linux主机上生成securecrt需要的密钥。 首先在 AWS 管理面板中生成密钥对。将密钥上传到一台自己的linux主机， ...
分类：
其他好文 时间：
2018-01-24 10:59:40
阅读次数：
157
Amazon的EC2服务器可以理解为虚拟机，不过它是不需要安装系统的，它是根据镜像自动创建的。在申请EC2的时候，可以选择操作系统的类型，如Redhat Enterprise 6或ubuntu 12等，我个人对它们没有偏好。如果选择的是linux系统，则同时会生在一个*.pem文件，里面大概存的是私 ...
分类：
其他好文 时间：
2018-01-24 10:51:00
阅读次数：
183
一 介绍 crapy一个开源和协作的框架，其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的，使用它可以以快速、简单、可扩展的方式从网站中提取所需的数据。但目前Scrapy的用途十分广泛，可用于如数据挖掘、监测和自动化测试等领域，也可以应用在获取API所返回的数据(例如 Amazon Ass ...
分类：
其他好文 时间：
2018-01-23 18:21:24
阅读次数：
162
超哥是来自Amazon的顶级的架构师，经历了Amazon整个向微服务架构迁移的过程，以及向serverless的演化过程，有着极其丰富的经验，年过40，一直站在技术的最前沿，始终保持对技术的执着追求和热情，是名副其实的技术大牛，能与之一起工作，荣幸之至！今天超哥给我们分享的主题《microservi ...
分类：
其他好文 时间：
2018-01-23 15:46:50
阅读次数：
145
介绍： Scrapy一个开源和协作的框架，其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的，使用它可以以快速、简单、可扩展的方式从网站中提取所需的数据。但目前Scrapy的用途十分广泛，可用于如数据挖掘、监测和自动化测试等领域，也可以应用在获取API所返回的数据(例如 Amazon Ass ...
分类：
其他好文 时间：
2018-01-23 14:30:52
阅读次数：
193
亚马逊公司周四宣布入围其第二总部候选城市的20个都会区名单，为角逐这家科技巨头投资和就业机会的激烈竞争打响了最后一役 LAURA STEVENS LAURA STEVENS 2018年 01月 19日 07:21 评论 亚马逊公司(Amazon.com Inc., AMZN)周四宣布入围其第二总部候 ...
分类：
其他好文 时间：
2018-01-22 10:57:47
阅读次数：
143
本文參照 http://docs.aws.amazon.com/zh_cn/AWSEC2/latest/UserGuide/managing-users.html http://docs.aws.amazon.com/zh_cn/AWSEC2/latest/UserGuide/ec2-key-pai ...
分类：
Web程序 时间：
2018-01-20 16:24:09
阅读次数：
193
为什么需要 Stream Stream 作为 Java 8 的一大亮点，它与 java.io 包里的 InputStream 和 OutputStream 是完全不同的概念。它也不同于 StAX 对 XML 解析的 Stream，也不是 Amazon Kinesis 对大数据实时处理的 Stream ...
分类：
其他好文 时间：
2018-01-16 18:08:06
阅读次数：
586
Amazon Glacier Data Model/Amazon Glacier 数据模型 Vault/文件库: Vault是archives的容器，每个aws账号可以包含最多1000个 vaults。 Archive/档案: 最大40TB， archive的数量无限制。ID是创建期间系统生成，不能 ...
分类：
其他好文 时间：
2018-01-14 11:09:30
阅读次数：
130
