第99课:使用Spark Streaming 实战对论坛网站动态行为的多维度分析
/* 王家林老师授课http://weibo.com/ilovepains 每天晚上20:00YY频道现场授课频道68917580*/
/**
* *第99课:使用Spark Streaming 实战对论坛网站动态行为的多维度分析
* 论坛数据自动生成代码,该生成的数据会作为Producer的方式发送给...
分类:
编程语言 时间:
2016-05-12 22:46:54
阅读次数:
371
第4课 :Spark Streaming的Exactly-One的事务处理和不重复输出彻底掌握
/* 王家林老师授课http://weibo.com/ilovepains 每天晚上20:00YY频道现场授课频道68917580*/
Exactly Once的事务处理:
1,数据零丢失:必须有可靠的数据来源和可靠的Receiver,且整个应用程序的metadata必须进行check...
分类:
其他好文 时间:
2016-05-12 12:33:25
阅读次数:
171
思路 新浪微博API接口提供了获取附近位置的微博用户的API接口,因此尝试通过分析春节期间全国用户各地微博用户分布情况,再结合用户注册地信息,粗略分析人口流动情况。 数据获取 0:新浪微博API接口 NearbyUser:http://open.weibo.com/wiki/2/place/near ...
分类:
其他好文 时间:
2016-05-03 21:57:21
阅读次数:
150
全文概述功能:爬取新浪微博的搜索结果,支持高级搜索中对搜索时间的限定
网址:http://s.weibo.com/
实现:采取selenium测试工具,模拟微博登录,结合PhantomJS/Firefox,分析DOM节点后,采用Xpath对节点信息进行获取,实现重要信息的抓取,并存储至Excel中。
获取的微博信息包括:博主昵称, 博主主页, 微博认证, 微博达人, 微博内容, 发布时间, 微...
分类:
其他好文 时间:
2016-05-03 18:44:01
阅读次数:
400
本系列文章由@浅墨_毛星云 出品,转载请注明出处。 文章链接: http://blog.csdn.net/poem_qianmo/article/details/19809337 作者:毛星云(浅墨) 微博:http://weibo.com/u/1723155442 邮箱: happylifemxy ...
分类:
其他好文 时间:
2016-04-25 10:27:20
阅读次数:
287
win7装mysql 一 下载 http://vdisk.weibo.com/s/Ae4yZ_pySewp 二 安装配置 ...
分类:
数据库 时间:
2016-04-20 23:47:26
阅读次数:
228
[中文文字来源:http://weibo.com/p/1001603931593801661149;英文原文作者为Angel Borja博士,文字来源:https://www.elsevier.com/connect/writing-a-science-paper-some-dos-and-dont ...
分类:
其他好文 时间:
2016-04-20 23:14:22
阅读次数:
215
python Restful API 微博开放平台: open.weibo.com: 点击文档进入API查看界面 点击API文档进行查看: 比如点开粉丝数的API可以看到: pro.jsonlint.com可以将一些格式不太清晰的字符串转换成易读的json格式。 RESTful的起源和设计理念 1. ...
前几天做了一个Java的新浪通行证模拟登录测试。现在给大家一个php的新浪通行证、微博登录的示例:具体都有备注,大家阅读代码吧.
<?php
/**
* tom 2016年4月12日10:37:08 模拟微博登录
*/
class login_weibo {
// 微博用户名称密码
private $username = '';
private $password = '';
//请...
分类:
Web程序 时间:
2016-04-14 12:20:30
阅读次数:
300
要获取新浪微博的数据,可以通过他们提供的API,地址:http://open.weibo.com/wiki/API文档_V2。 获取数据的方法如下: 补充一下,json_decode($data) 会输出一个对象,而json_decode($data, true) 则强制输出为数组。获取数组则使用了 ...