最近一段时间主要重心在Amazon电商数据分析上，这是一个偏数据分析和可视化的项目。具体来说就是先获取Amazon的商品数据，数据清洗和持久化存储后作为我们自己的数据源。分析模块和可视化模块基于数据进行一系列的操作。 显然，整个项目中最基本，也是最重要的就是前期数据的获取，本篇文章就是针对数据...
分类：
其他好文 时间：
2014-07-22 22:53:35
阅读次数：
293
还有这个：http://www.nedworks.org/~mark/presentations/san/Wikimedia%20architecture.pdfAmazon的体系结构Amazon从一个很小的网上书店发展成为现今世界上最大的网上书店中。他们开辟了让顾客来评估，审查和推荐商品的新方式。...
分类：
其他好文 时间：
2014-07-19 23:25:33
阅读次数：
371
NET Framework 4.5 ado.net数据库连接支持使用SecureString内存流方式保密文本。 一旦使用这类操作，文本加密是私有不能共享的，并在不再需要时从计算机内存中删除。 SecureString此类不能被继承。 下面做了一些演示 private void Login_Cli....
分类：
数据库 时间：
2014-07-19 18:09:56
阅读次数：
268
OpenStack的oslo项目旨在独立出系统中可重用的基础功能，oslo.config就是其中一个被广泛使用的库，该项工作的主要目的就是解析OpenStack中命令行（CLI）或配置文件（.conf）中的配置信息。下面先给一个high-level的过程说明一下如何使用这个库。 OpenSta...
分类：
其他好文 时间：
2014-07-19 13:37:36
阅读次数：
6614
当你想要在工作中分享文件, 并且希望其他人甚至一群人给你反馈, 然后交还给你作修改,并存下修正过的不同版本, 再进行反覆讨论修正,你会怎么做呢?
通常我们会用电子邮件来传送这些档案, 向他人征求反馈, 並将不同版本的文件存放在本地,但是这并不是最好的解决方案, 当文件越来越多要共享, 当越来越多人要进行协作, 电子邮件可能不是一个好的工具。
亚马逊AWS最近推出了一项全新的企业云存储和分享服务Amazon Zocalo (城市“中央广场”的意思)，以Zocalo 命名, 是想表达这个服务就像是一个中央的...
分类：
其他好文 时间：
2014-07-17 21:13:00
阅读次数：
351
KeepAlive既熟悉又陌生，踩过坑的同学都知道痛。一线运维工程师踩坑之后对于KeepAlive的总结，你不应该错过！最近工作中遇到一个问题，想把它记录下来，场景是这样的：从上图可以看出，用户通过Client访问的是LVS的VIP， VIP后端挂载的RealServer是Nginx服务器。 Cli...
分类：
其他好文 时间：
2014-07-17 10:11:42
阅读次数：
245
背景：http访问一切正常，可以connect到数据库存取数据。但是当CLI模式时会出现Calltoundefinedfunctionmysql_connect()原因：CLI模式下没有配置php.ini文件，或者配置了php.ini，但是php.ini里没有php_mysql.dll或mysql.so模块解决：1首先执行php-m检查mysql模块是否加载2执行..
分类：
数据库 时间：
2014-07-17 09:47:31
阅读次数：
282
前一段时间，开发环境反馈，Redis服务器访问非常慢，每个请求要数秒时间，重启之后2~3天又会这样。
我查看了一下Linux的性能，没有什么问题。通过
# redis-cli --latency
发现访问Redis确实很慢，执行info要几秒时间。里面有个参数已连接的客户端几万个，通过
Redis>client list
查看到很多client的age都很大，一直没有释放。于是怀疑是不是...
分类：
其他好文 时间：
2014-07-16 10:06:52
阅读次数：
271
云环境下的容灾
什么是容灾？
简单的说是对灾难的而应对策略。比如火灾，盗窃，人为损坏，火山，地震，洪水，战争，飓风等自然灾害或者人为灾害。
RTO/RPO
RPO(Recovery Point Objective): 指灾难后可能恢复到的时间点。涉及丢失业务数据的多少。
RTO(Recovery Point Time): 指灾难发生后，业务恢复所需的时间。
容灾的...
分类：
其他好文 时间：
2014-07-15 22:17:05
阅读次数：
382
1.如果是webserver的话一般要设置port 80的权限，可以选择HTTP, 然后输入自己的IP或者选择anywhere，这样任意ip都能access到了
2.为了能够在其他机器上ping这个instance，需要设置ICMP，同样的ip可以自己设置也可以选择anywhere
其余的TCP, UDP, HTTPS也最好设置下，如果没有隐私权限的要求，例如尚处于开发软件或者测试阶段...
分类：
其他好文 时间：
2014-07-15 10:33:21
阅读次数：
315
