本文将重点介绍五种机器学习的工具——面向非程序员的工具（Ludwig、Orange、KNIME）、模型部署（CoreML、Tensorflow.js）、大数据（Hadoop、Spark）、计算机视觉（SimpleCV）、NLP（StanfordNLP）、音频和强化学习（OpenAI Gym）。 ...
分类：
其他好文 时间：
2019-08-05 17:23:26
阅读次数：
114
前言 最近在搞hadoop+spark+python,所以就搭建了一个本地的hadoop环境,基础环境搭建地址hadoop2.7.7 分布式集群安装与配置 本篇博客主要说明,如果搭建spark集群并集成到hadoop 安装流程 安装spark需要先安装scala 注意在安装过程中需要对应spark与 ...
分类：
其他好文 时间：
2019-07-24 19:14:56
阅读次数：
88
大数据开发专业需要学习的内容包括三大部分，分别是大数据基础知识、大数据平台知识、大数据场景知识。大数据基础知识：有三个主要部分，分别是数学、统计学和计算机等学科。大数据基础知识往往决定了开发人员未来的成长高度，所以要重视基础知识的学习。大数据平台知识：是大数据开发的基础，在学习期间，往往以搭建Hadoop、Spark平台为主，一方面Hadoop对机器的硬件要求不高，另一方面Hadoop的使用也非常
分类：
其他好文 时间：
2019-07-07 12:42:40
阅读次数：
88
大数据作为时下火热的IT行业的词汇，随之而来的数据开发、数据仓库、数据安全、数据分析、数据挖掘等等围绕大数据的商业价值的利用逐渐成为行业人士争相追捧的利润焦点。随着大数据时代的来临，大数据开发也应运而生。大数据开发其实分两种，第一类是编写一些Hadoop、Spark的应用程序，第二类是对大数据处理系统本身进行开发。第一类工作感觉更适用于dataanalyst这种职位吧，而且现在HiveSpark-
分类：
其他好文 时间：
2019-06-26 18:01:05
阅读次数：
157
ISBN 9787115488169 "之前" 我们已经完成了Hadoop+Spark集群的搭建，下面改用这本书。 "教材" ， "讲义" ， "实验" sbt Spark应用程序开发可以采用Scala+sbt，Java+Maven，或Python直接spark submit三种方式。 这里介绍通过 ...
分类：
其他好文 时间：
2019-06-20 11:07:51
阅读次数：
105
1. 数据的采集 智能安全帽，流数据，鉴于数据量大，应该是采集到云平台上，然后在云平台上对数据处理，是一种典型的物联网+大数据应用场景，考虑使用AWS或者阿里云，然后搭建Hadoop/Spark 环境，数据流可以用Kafka 来采集，也可以研究云提供商是否提供了类似的现成的环境 2. 数据的预处理 ...
分类：
其他好文 时间：
2019-06-19 23:16:36
阅读次数：
149
转型大数据适合的人群1、JavaJava编程是大数据开发的基础，大数据中很多技术都是使用Java编写的，如Hadoop、Spark、mapreduce等，因此，想要学好大数据，Java编程是必备技能！2、PythonPython往往在大数据处理框架中得到支持。3、Linux运维企业大数据开发往往是在Linux操作系统下完成的，因此，想从事大数据相关工作，需要掌握Linux系统操作方法和相关命令。在
分类：
其他好文 时间：
2019-05-30 13:19:00
阅读次数：
119
一.大数据组件分类: 1.计算类: hadoop,spark,flink,hive 2.传输类:kafka,flume,redis 3.存储类:hbase,mongodb,Cassandra 4.调度类:zookeeper 5.配置类:mesos,yarn 二.流行的框架SMACK Spark Me ...
分类：
其他好文 时间：
2019-05-10 20:21:59
阅读次数：
160
/home/bigdata/hadoop/spark-2.1.1-bin-hadoop2.7/sbin/start-all.sh 启动后执行jps命令，主节点上有Master进程，其他子节点上有Work进行，登录Spark管理界面查看集群状态（主节点）：http://master01:8080/ 到 ...
分类：
数据库 时间：
2019-05-01 13:44:43
阅读次数：
175
hadoop+spark+scala环境--单实例版
分类：
其他好文 时间：
2019-04-03 19:23:36
阅读次数：
158
