写在前面 因为之前的爬虫环境一直是部署在我自己本地的电脑上的,最近,写了一个监控别人空间的爬虫,需要一直线上24小时运行,所有就打算云服务器上部署环境,也捣鼓了好一会才弄好,还是有一些坑,这里先记录一下,方便以后复习... 一.替换pyhton2版本为python3 1.我这里的云服务器是Cento ...
分类：
其他好文 时间：
2018-10-31 15:46:28
阅读次数：
134
Kafka架构介绍和安装 写在前面 还是那句话，当你学习一个新的东西之前，你总得知道这个东西是什么？这个东西可以用来做什么？然后你才会去学习它，使用它。简单来说，kafka既是一个消息队列，如今，它也演变为一个分布式的流处理平台，这一点就是很厉害的了。所以，学习kafka对于大数据的小伙伴们来说，是 ...
分类：
其他好文 时间：
2018-10-31 15:44:17
阅读次数：
151
使用JSP+Servlet+Jdbc+Echatrs实现对豆瓣电影Top250的展示 写在前面: 有的小伙伴，会吐槽啦，你这个标题有点长的啊。哈哈 ，好像是的！不过，这个也是本次案例中使用到的关键技术。如果，你正愁不会的数据可视化，那么我接下来，我会带你一步一步的实现这个数据可视化的功能。 效果图： ...
分类：
数据库 时间：
2018-10-31 15:40:39
阅读次数：
208
Kafka部署与使用 写在前面 从上一篇Kafka的架构介绍和安装中，可能，你还一直很蒙，kafka到底该怎么使用呢？接下来，我们就来介绍Kafka的部署与使用。上篇文章中我们说到，Kafka的几个重要组成是:1.producer 2.consumer 3.broker 4.topic .因此我们就 ...
分类：
其他好文 时间：
2018-10-31 15:39:08
阅读次数：
106
环境搭建 Hadoop集群搭建 写在前面，前面我们快速搭建好了centos的集群环境，接下来，我们就来开始hadoop的集群的搭建工作 实验环境 Hadoop版本：CDH 5.7.0 这里，我想说一下，我们我没有选择官方版本，是因为，cdh版本已经解决好了各个组件之间的依赖。因为，后面，我们还会使用 ...
分类：
其他好文 时间：
2018-10-31 15:37:14
阅读次数：
250
写在前面： 最近一直在学习，这几天了解了下Nginx,虽然看了些资料，斌哥也讲解了一下，但是貌似缺少了实践，就显得对其认识的不那么深刻。这里也还是简单的记录下把。 什么是Nginx? Nginx (engine x) 是一款轻量级的Web服务器 、反向代理服务器及电子邮件（IMAP/POP3）代理服 ...
分类：
其他好文 时间：
2018-10-31 15:35:20
阅读次数：
147
写在前面 GraphLab Create 是一款机器学习的函数库，其中的SFrame也是十分强大的数据管理工具。它允许直接从硬盘中读取数据，免于将数据全部加载到内存中。这就使得对于大数据的处理成为可能.这也是相对于scikit learn的一个最大优点,我们知道,scikit learn是只能读取内 ...
分类：
其他好文 时间：
2018-10-31 15:34:35
阅读次数：
241
写在前面 记录一下，一个简单的cloudera处理平台的构建过程和一些基本组件的使用 前置说明 需要一台安装有Docker的机器 docker常用命令： 启动cloudera 这个时候假如你想登录HUE界面进行操作，可能你不知道账户密码，可以使用下面操作完成： 接着：介绍一些简单的组件操作方式: s ...
分类：
其他好文 时间：
2018-10-31 14:25:24
阅读次数：
160
写在前面： 昨天早睡之后，感觉今天已经恢复了百分之八十的样子 又是活力满满的小伙郭 今日份鸡汤： 我始终相信，在这个世界上，一定有另一个自己，在做着我不敢做的事，在过着我想过的生活。 宫崎骏 函数 一、函数出现的背景 在学习函数之前，一直遵循：面向过程编程，即：根据业务逻辑从上到下实现功能，其往往用 ...
分类：
编程语言 时间：
2018-10-31 12:34:13
阅读次数：
163
写在前面大家一定遇到过在使用Git时，不小心将一个很大的文件添加到库中，即使删除，记录中还是保存了这个文件。以后不管是拷贝，还是push/pull都比较麻烦。今天在上传工程到github上，发现最大只能上传100MB大小文件，在本地git库中有一个150MB文件，虽然已经删除，但还保存了记录。下面教 ...
分类：
其他好文 时间：
2018-10-31 10:37:30
阅读次数：
205
