前言 在大数据计算领域，Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。Spark的功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学习、图计算等各种不同类型的计算操作，应用范围与前景非常广泛。在美团?大众点评，已经有很多同学在各种项目中尝试使用Spark。大多数同学 ...
分类：
其他好文 时间：
2016-07-04 23:33:15
阅读次数：
330
当你有了一只美丽的爬虫后你可以做很多有意思的事情，比如爬虫爬到了很多餐饮数据后就可以做餐饮地区活跃度分析了，这些分析指标是很有意义的，特别是对准备开店的人。首先要将数据从大众点评、美团或其他网站数据采集下来，方式可以从美食产品入口，然后找到餐饮公司信息，然后找到地址，地区等信息。采集的时候要做好防重 ...
分类：
其他好文 时间：
2016-07-04 01:14:47
阅读次数：
469
修改邮箱地址前先往原来的老邮箱发送一封验证邮件，点击验证邮件里面的链接，然后在出现的界面中输入新修改的邮箱地址(提示，这个邮箱地址可不能随便填写，一定要是自己的邮箱地址)，点击确定以后，系统会往新的邮箱地址里面发送一封确认邮件，登录新的邮箱，点击里面的链接完成修改邮箱地址的操作。 也就是说，新的邮箱 ...
分类：
其他好文 时间：
2016-07-02 18:50:04
阅读次数：
234
前言 在大数据计算领域，Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。Spark的功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学习、图计算等各种不同类型的计算操作，应用范围与前景非常广泛。在美团?大众点评，已经有很多同学在各种项目中尝试使用Spark。大多数同学 ...
分类：
其他好文 时间：
2016-07-01 20:07:49
阅读次数：
148
前言
在大数据计算领域，Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。Spark的功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学习、图计算等各种不同类型的计算操作，应用范围与前景非常广泛。在美团?大众点评，已经有很多同学在各种项目中尝试使用Spark。大多数同学（包括笔者在内），最初开始尝试使用Spark的原因很简单，主要就是为了让大数据计算作业的执行速...
分类：
其他好文 时间：
2016-06-30 07:34:17
阅读次数：
255
无意下载一个代码, 还不错,记录一下,说不定以后会用到.效果图如下 整体工程是引入了一个library,当然完全可以写到一个工程里面,如下截图 代码还是很好理解的, 下面贴出来,顺便又加了一些注释 1.MainActivity.java activity_main.xml 对应的popup.xml ...
分类：
其他好文 时间：
2016-06-17 17:19:02
阅读次数：
187
大众点评店铺的地图从HTML源码中却找不到坐标（经纬度）信息。 分析JS发现原来它是把坐标（经纬度）信息进行了转换（防采集），就是HTML中的poi参数。 以 http://www.dianping.com/shop/4101814 店铺为例。 源文件中有 poi 的部分（poi: 'HETSIFZ... ...
分类：
其他好文 时间：
2016-06-13 19:08:34
阅读次数：
195
pyspider：http://demo.pyspider.org/ CSS选择器：http://www.w3school.com.cn/cssref/css_selectors.asp Beautiful Soup：http://beautifulsoup.readthedocs.io/zh_CN ...
分类：
其他好文 时间：
2016-06-08 10:22:35
阅读次数：
376
这是我编写的爬取大众点评网商家信息的爬虫，代码可以粘贴到神箭手云爬虫开发平台（http://www.shenjianshou.cn/）上直接运行。 ...
分类：
其他好文 时间：
2016-05-27 14:24:55
阅读次数：
796
业务的快速增长，要求系统在快速迭代的同时，保持很好的扩展性和可用性。其中，交易系统除了满足上述要求之外，还必须保持数据的强一致性。对系统开发人员而言，这既是机遇，也是挑战。本文主要梳理大众点评支付渠道网关系统在面对这些成长烦恼时的演进之路，以及过程中的一些思考和实践。
在整个系统的演进过程中，核心思路是：大系统做小，做简单（具体描述可参考《高可用性系统在大众点评的实践与经验》）。在渠道网关系...
分类：
其他好文 时间：
2016-05-27 12:18:34
阅读次数：
139
