码迷,mamicode.com
首页 > 其他好文 > 详细

AWS 使用经验

时间:2014-07-28 11:21:20      阅读:391      评论:0      收藏:0      [点我收藏+]

标签:des   blog   http   使用   数据   io   for   art   

掐指一算,自己第一次使用 AWS 已经是两年前的事情了,这也是云计算和大数据等技术迅猛发展的两年。这期间,大抵间间断断地使用着,FreeTier Instance 也运行快一年了,马上进入收费周期。虽然中间用过一段 Aliyun 的产品(被坑了不少钱),同时现在每月给DigitalOcean 贡献 $5,但是只有AWS的培训有参加过,几个活也是用AWS完成的,算是了解得比较深入。这里且记录一下使用经验,算是总结,也是一种知识梳理。

由于比较常用计算密集型的任务,选择EC2 Spot Instances + SQS + S3的组合较为符合需求。在不需要Auto Scaling的情况下,主要的思路如下:

  • Sending EC2 Spot Instances Requests
  • Sending Messages into SQS
  • Start python scripts on EC2 instances
  • Upload python scripts to S3 and download it on EC2 instances
  • Get Messages from SQS and saving results to S3

SQS 是一个消息队列系统,以服务的方式提供后,对于整个架构中各模块的解耦是非常有用的。S3用于存储初始数据和处理结果,以及启动脚本。EC2 就是处理数据的节点。 

 

1. S3

s3 = boto.connect_s3(AWS_ACCESS_KEY_ID, AWS_SECRET_ACCESS_KEY)
bucket = s3.get_bucket(DATA_BUCKET)
key = bucket.new_key(KEY_BOOT)
#key.set_contents_from_string(startup)
key.set_contents_from_filename(SCRIPT_BOOT)

  

2. SQS

def send_message_sqs(q, id):
    message = q.new_message(body=simplejson.dumps({"key":id}))
    print q.write(message)

sqs = boto.connect_sqs(KEY, SECRET)
q = sqs.create_queue(REQUEST_QUEUE)
for id in ids:
    send_message_sqs(q, str(id))

  

 

3. EC2 Spot Instances

 

request = conn.request_spot_instances(price=AWS_MAX_PRICE,
    image_id=AWS_IMAGE_ID,
    count=AWS_INSTANCE_COUNT,
    type=AWS_REQUEST_TYPE,
    key_name=AWS_KEY_NAME,
    security_groups=AWS_SECURITY_GROUPS,
    instance_type=AWS_INSTANCE_TYPE,
    placement=AWS_PLACEMENT,
    user_data=BOOTSCRIPT % {
        ‘KEY‘    : AWS_ACCESS_KEY_ID,
        "SECRET" : AWS_SECRET_ACCESS_KEY,
        "DATA_BUCKET" : DATA_BUCKET,
        "KEY_BOOT" : KEY_BOOT,
        ‘BOOT_SCRIPT_PATH‘: SCRIPT_BOOT_PATH_SPOT
    })

  

 

http://aws.amazon.com/ec2/purchasing-options/spot-instances/spot-and-science/

http://www.slideshare.net/AmazonWebServices/massive-message-processing-with-amazon-sqs-and-amazon-dynamodb-arc301-aws-reinvent-2013-28431182

AWS 使用经验,布布扣,bubuko.com

AWS 使用经验

标签:des   blog   http   使用   数据   io   for   art   

原文地址:http://www.cnblogs.com/huys03/p/3854466.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!