最近一段时间主要重心在Amazon电商数据分析上,这是一个偏数据分析和可视化的项目。具体来说就是先获取Amazon的商品数据,数据清洗和持久化存储后作为我们自己的数据源。分析模块和可视化模块基于数据进行一系列的操作。 显然,整个项目中最基本,也是最重要的就是前期数据的获取,本篇文章就是针对数据...
分类:
其他好文 时间:
2014-07-22 22:53:35
阅读次数:
293
在aws的instance选项中的第一个:amazon自己的linux instance上,想要跑java程序,可是会出现javac:command not found的错误。
一般方案是检测jdk有没有安装以及JAVA_HOME有没有设置正确,不过!!!!
最简单的解决方案:
sudo yum install java-devel...
分类:
编程语言 时间:
2014-07-22 22:48:55
阅读次数:
309
前言:ansible的结果默认是输出到cli终端和日志里面的,用惯了saltsatck的returners数据回调后,也很是喜欢ansible也有,一开始不知道有这个功能,自己也简单实现了这样的功能。我的实现方式是,在模块里面做一些输出的逻辑。当使用ansiblerunnerapi的时候,是在后面runner代码..
分类:
数据库 时间:
2014-07-21 12:22:24
阅读次数:
1144
项目服务端框架我选用的是ThinkPHP,由于策划案中有需求要定时刷新指定数据,所以在windows平台我使用微软的计划任务调用bat脚本来执行下面的命令来完成 php?index.php?/Home/cli 即使用PHP的CLI模式调用Think...
分类:
Web程序 时间:
2014-07-21 10:23:16
阅读次数:
230
还有这个:http://www.nedworks.org/~mark/presentations/san/Wikimedia%20architecture.pdfAmazon的体系结构Amazon从一个很小的网上书店发展成为现今世界上最大的网上书店中。他们开辟了让顾客来评估,审查和推荐商品的新方式。...
分类:
其他好文 时间:
2014-07-19 23:25:33
阅读次数:
371
https://grapeot.me/easy-and-cheap-cluster-building-on-aws.htmlThu 17 July 2014, byYan Wang|2 CommentsLinuxParallelgithubImageWhy?It often requires a l...
分类:
其他好文 时间:
2014-07-19 23:09:27
阅读次数:
310
NET Framework 4.5 ado.net数据库连接支持使用SecureString内存流方式保密文本。 一旦使用这类操作,文本加密是私有不能共享的,并在不再需要时从计算机内存中删除。 SecureString此类不能被继承。 下面做了一些演示 private void Login_Cli....
分类:
数据库 时间:
2014-07-19 18:09:56
阅读次数:
268
OpenStack的oslo项目旨在独立出系统中可重用的基础功能,oslo.config就是其中一个被广泛使用的库,该项工作的主要目的就是解析OpenStack中命令行(CLI)或配置文件(.conf)中的配置信息。下面先给一个high-level的过程说明一下如何使用这个库。 OpenSta...
分类:
其他好文 时间:
2014-07-19 13:37:36
阅读次数:
6614
当你想要在工作中分享文件, 并且希望其他人甚至一群人给你反馈, 然后交还给你作修改,并存下修正过的不同版本, 再进行反覆讨论修正,你会怎么做呢?
通常我们会用电子邮件来传送这些档案, 向他人征求反馈, 並将不同版本的文件存放在本地,但是这并不是最好的解决方案, 当文件越来越多要共享, 当越来越多人要进行协作, 电子邮件可能不是一个好的工具。
亚马逊AWS最近推出了一项全新的企业云存储和分享服务Amazon Zocalo (城市“中央广场”的意思),以Zocalo 命名, 是想表达这个服务就像是一个中央的...
分类:
其他好文 时间:
2014-07-17 21:13:00
阅读次数:
351
KeepAlive既熟悉又陌生,踩过坑的同学都知道痛。一线运维工程师踩坑之后对于KeepAlive的总结,你不应该错过!最近工作中遇到一个问题,想把它记录下来,场景是这样的:从上图可以看出,用户通过Client访问的是LVS的VIP, VIP后端挂载的RealServer是Nginx服务器。 Cli...
分类:
其他好文 时间:
2014-07-17 10:11:42
阅读次数:
245