备注：以下代码在kibana插件下运行： # 创建一个备份用的仓库# type:fs文件系统# 支持Shared filesystem, Amazon S3, HDFS和Azure #Cloud# location备份目录 # 修改备份仓库属性# max——snapshot_bytes_per_se ...
分类：
其他好文 时间：
2018-07-18 15:18:13
阅读次数：
183
最近由于业务需求，对于备份的数据存放到S3上面，并需要页面展示。而且还能下载。 把这个桶里面的对象，都在某个静态页面展示。并且 我可以把这个对象下载下来。 首页内容就是 桶里面的对象。 并且可以随时查看。我在ec2同步到s3后，这个页面也能实时更新到最新的。 解决方法： 把index.html放入公 ...
分类：
其他好文 时间：
2018-07-18 01:12:03
阅读次数：
167
一、创建终端节点 为什么要创建终端节点，把VPC和S3管理起来呢？如果不将VPC和S3通过终端节点管理起来，那么VPC中EC2实例访问S3存储桶是通过公共网络的；一旦关联起来，那么VPC中EC2实例访问S3存储桶走的就是内部网络。好处有两个：1. 走内部网络就不会产生流量费用；2. 走内部网络速度快，不会因为网络原因导致我们的Python脚本产生异常。
分类：
编程语言 时间：
2018-07-17 23:21:49
阅读次数：
204
4. Hadoop相关配置及Executor环境变量的设置 4.1 Hadoop相关配置信息 默认情况下，Spark使用HDFS作为分布式文件系统，所以需要获取Hadoop相关配置信息的代码如下： 获取的配置信息包括： 将Amazon S3文件系统的AccessKeyId和SecretAccessK ...
分类：
其他好文 时间：
2018-07-15 23:13:01
阅读次数：
233
Amazon sqs是亚马逊提供的线上消息队列服务， 可以实现应用程序解耦，以及可靠性保证。 sqs提供了两种消息队列， 一种是标准消息队列， 一种是先进先出队列(FIFO)， 其区别是FIFO是严格有序的，即消息接收的顺序是按照消息发送的顺序来的， 而标准队列是尽最大可能有序， 即不保证一定为有序 ...
分类：
其他好文 时间：
2018-07-15 22:15:22
阅读次数：
376
一：配置 如果用QQ和163邮箱的话 记得开启POP3和SMTP服务 配置文件： 配置说明： driver用于配置默认的邮件发送驱动，Laravel支持多种邮件驱动方式，包括smtp、Mailgun、Maildrill、Amazon SES、mail和sendmail，Mailgun和Amazon ...
分类：
其他好文 时间：
2018-07-14 16:28:53
阅读次数：
195
Scrapy Scrapy 是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 其可以应用在数据挖掘，信息处理或存储历史数据等一系列的程序中。其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的， 也可以应用在获取API所返回的数据(例如 Amazon Associates Web Se ...
分类：
编程语言 时间：
2018-07-13 13:25:02
阅读次数：
128
1.引言 相信很多玩开源无人机的朋友手上都有一架无人机，而不是仅仅停留在理论的学习和程序的学习。放飞自己组装的无人机才是乐趣所在，那么这本文就介绍玩无人机必不可少的地面站软件qgroundcontrol的安装，当然还可以用mission planner地面站。qgc和都可以在windows下安装。本 ...
分类：
系统相关 时间：
2018-07-12 20:07:02
阅读次数：
2030
概述 Impala可以直接在存储在HDFS，HBase或Amazon Simple Storage Service（S3）中的Apache Hadoop数据上提供快速，交互式的SQL查询。 除了使用相同的统一存储平台，Impala和Apache Hive一样还使用相同的元数据，SQL语法（Hive ...
分类：
其他好文 时间：
2018-07-11 20:03:34
阅读次数：
175
感谢大神分享https://blog.csdn.net/u012147490/article/details/53097459 Amazon S3是一种云上的存储服务器，其功能仅在于存储。和普通的服务器不同，它没有操作界面，连一般的SSH命令登录功能都没有。和它打交道的话，一种办法是用它的管理界面， ...
分类：
编程语言 时间：
2018-07-11 17:59:03
阅读次数：
216
