MongoDB

大数据第四天

1.mongoDB数据库(NoSQL数据库)
	1.1 安装(windows版本)
		a.下载链接  www.mongodb.org
		b.创建一个目录用于存放安装目录，解压安装包
		c.创建一个目录用于存放数据
		d.cd到安装目录 进入bin 执行 mongod.exe --dbpath 数据目录全路径
		e.配置环境变量
		f.启动数据库服务 自己修改mongodb.bat
			mongod --dbpath "d:/mongodb_data"
		g.参考文档配置启动命令选项
		h.客户端连接
			mongo 127.0.0.1:27017(如果不改变端口，默认为27017)/admin(使用管理员登陆)
	1.2 shell基本操作
		1.2.1 对比
				和关系型数据库差异
					对比项		mongodb		mysql
					表			集合		table
					行			文档		行记录
					字段		键key		字段field
					值			值value		值value
					主外键		无			PK,FK
					灵活性		极高		差
					查询		find		sql
		1.2.2 基本操作
				1.创建数据库
					use 数据库名(如果此时什么都不干，离开时这个空数据库会从缓存中删除)
				2.查看所有数据库
					show dbs
				3.给指定的数据库添加集合并添加记录
					db.persons.insert({name:"test"})  //此条命令执行完以后会自动为文档插入id一列
					其中：
						db 表示所使用的数据库
						persons 表示集合
						insert 表示集合操作
						name 表示key
						test 表示value
				4.查看数据库中的所有文档
					show collections
				5.查询指定文档的数据
					a.查询所有
						db.persons.find()
					b.查询一条数据
						db.persons.findOne() //查询一行数据
				6.更新文档数据
					db.persons.update({name:"test"},{$set:{name:"test1"}})  //满足条件多条记录时，只更新第一条
					//第一个{} 表示条件
					//第二个{}  表示需修改的字段
				7.删除文档数据
					db.persons.remove({name:"123"})
					//{} 条件
				8.删除库中的集合	
					db.persons.drop()
				9.删除数据库
					db.dropDatabase()
				10.shell的help
					db.help()  //全局数据库帮助
					db.person.help() //集合相关帮助
				11.API
					http://api.mongodb.org/
				12.命名规范
					1.不能是空字符串
					2.特殊符号不能使用
					3.应全部小写
					4.最多64字节
					5.不能跟现有的数据同名  如admin local
				13.可充当js引擎，可以执行js命令					
	1.3 BSON扩充的数据类型
		1.概述
			BSON:是JSON的扩展，它新增了日期和浮点等JSON不支持的数据类型
	1.4 MongoVUE————可视化工具
		一开始不推荐  后期可查看相关命令
	1.5 文档数据
		1.插入
			a.插入
				db.文档.insert.({key:value})
			b.批量插入
				shell不支持批量插入，只能使用for循环
				for(var i=0 ; i<10 ; i++){
					db.perosns.insert({name:i})
				}
			c.save操作
				save操作和insert操作的区别在于当遇到相同id情况下时：
					save完成保存操作，而insert则报错
		2.删除
			a.删除列表中所有数据
				db.persons.remove()
			b.根据条件删除数据
				db.persons.remove({naem:1})
		3.更新
			a.强硬式文件替换
				db.persons.update({查询器},{修改器})
				//会导致新文档替换旧文档 新文档为修改器里面的内容
			b.主键冲突会报错并停止更新操作
				当更新文档和已有文档ID冲突时则系统报错
			c.insertOrUpdate操作
				查询器查出来的数据则执行更新操作，否则执行替换操作
				db.persons.update({查询器},{修改器},true)
			d.批量更新操作(解决只更新一条数据问题)
				db.persons.update({查询器},{修改器},false,true) //查询器多条记录时均更新
			e.更新器
				$set————用来指定一个键值对，存在则修改，不存在则添加
					{$set:{key:value}}
				$inc————用来指定的键对应的数字类型的数值进行加减操作
					{$inc:{field:1}}  //field这个列的数值+1 如果减1则是-1
				$unset————用来删除指定键
					{$unset:{field:value}}
				$push————如果指定的键是数组则追加数值；如果指定键不存在则创建数组类型的键值对
					{$push:{filed:value}}
				$pushAll————用法和push差不多
					{$pushAll:{field:array}}  //注意后面跟着是数组
				$addToSet————用于添加键，如果存在则不操作
					{$addToSet:{field:value}}
				$pop————从指定数组中删除一个值
					{$pop:{filed:value}} //其中value为1时代表最后一个数值，-1为第一个数值
				$pull————删除一个被指定的数值
					{$pull:{"name":"test"}}
				$pullAll————一次性删除多个指定的数值
					{$pullAll:{"name":["test","test1","test2"]}}
				$————数组定位器
		4.查询
			a.Find
				1.指定返回的键
					db.persons.find({},{})
					//第一个{}指定条件
					//第二个{}指定需要返回的列
					//其中id列默认情况下会返回  _id:0为不返回 name:1为返回那么列
				2.查询条件
					$lt -> <  $lte -> <=
					$gt -> >  $gte -> >=
					$ne -> !=
					$in
					$nin
					$or
					Null
					$elemMatch ————数组查询器
					$where     ————尽量避免使用。性能低
					示例:   22<=age<=27 -> {age:{$gte:22,$lte:27}}
							age != 26  -> {age:{$ne:26}}
							age in(12,13) -> {age:{$in:[12,13]}}  --后接数组
							age>80 or age<40 -> {$or:[{age:{$gt:80}},{age:{$lt:40}}]}
							age is null      -> {age:{$in:[null]}}		
			b.分页和排序
				1.分页
					前几条数据 ————limit()
						db.persons.find().limit(5) --查询前5条数据
					前跨度数据 —————skip()
						db.persons.find().limit(3).skip(5)  --前6~8 共三条 前面5条省略跳过
				2.排序  ————sort()
					db.persons.find().limit(3).sort({name:1}) --前三行数据根据name升序排序   -1为倒序
					db.persons.find().limit(3).sort({name:1,age:-1}) --先升序再倒序
			c.游标和其他知识
				1.游标
					var p = db.persons.find();  --得到游标
					while(p.hasNext()){ --遍历游标
						obj = p.next(); --指向下一条记录
						print(obj)
					}
				2.游标销毁的条件
					1.客户端发来请求销毁
					2.迭代完毕
					3.超过10分钟没用，自动清除
				3.查询快照————针对不变的集合进行游标运动
					高级查询选项：
						$query:doc  doc 为字段 (field:value)
						$orderby:doc
						$maxsan:integer 做多扫描文档个数
						$min:doc	查询开始  
						$max:doc	查询结束
						$hint:doc	使用哪个索引
						$explain:boolean	统计
						$snapshot:boolean   快照 
					
					示例：db.persons.find({$query:{name:"jim"},$snapshot:true},{_id:0})
					
	1.6 常用函数
		a.findAndModify函数————返回集合
		b.runCommand函数————返回更新或者删除的文档
			示例：
				ps = db.runCommand({
				"findAndModify":"persons",
				"query":{name:"test"},
				"update":{"$set":{"age":11}},
				"new":true
				}).value
				
				--"findAndModify"   集合名
				--"query"			查询器
				--"update"			修改器
				--"new"				状态--如果true表示返回结果是更新后的，false为更新前
				--"sort"			排序	
		c.Count函数————计数
			db.persons.find({country:"USA"}).count() --查询美国国籍的人数
		d.Distinct函数————去重
			db.runCommand({distinct:"persons",key"country"}).values --查询persons集合中一共有多少个国家，分别是什么
		e.Group函数————分组
			db.runCommand({
				group:{
				ns:集合名字,
				Key:分组的键对象,
				Initial:初始化累加器,
				$reduce:组分解器,
				Condition:条件,
				Finalize:组完成器
				}
			}) 
			说明：分组首先会按照key进行分区，每组的每个文档全部要执行$reduce的方法，其中参数为：一个是组内本条记录，一个是累加器数据
			示例：
				db.runCommand({
					group:{
					ns:"persons",
					key:{"country":true},
					initial:{m:0},
					$reduce:function(doc,prev){
						if(doc.m > prev.m){
							prev.m = doc.m;
							prev.name = doc.name;
							prev.country = doc.country;
						}
					},
					condition:{m:{$gt:90}}
					}
				})
		f.列出所有函数
			1.shell方式
				db.listCommands()
			2.WEB方式
				http://localhost:28017/_commands  //注意启动时需要加--rest 如: mongod --dbpath 数据目录 --rest
	1.7 索引
		a.索引概述
			1.创建索引的时候注意正序还是倒序
			2.索引的创建在提高查询性能的同时会影响插入性能
			3.符合索引要注意索引的先后顺序
			4.每个键全建立索引不一定就能提高性能
		b.管理索引
			1.创建索引
				db.persons.ensureIndex({id:1},{unique:true})  
					id为索引列  1为升序 -1为倒序 
					unique 为唯一索引
			2.删除索引
				db.runCommand({dropIndexs:"persons",index:"index_name"}) 将persons的index_name索引删除
				db.runCommand({dropIndexs:"persons",index:"*"}) 将persons的所有索引删除
		c.空间索引————二维空间索引，地图时用到，具体找度娘
	1.8 固定集合
		1.特性
			a.固定集合默认是没有索引的，就算是_id也是没有索引的
			b.由于不要分配新的空间，所以插入速度非常快
			c.固定集合的顺序是确定的，所以查询速度非常快
			d.最适合的是应用就是日志管理
		2.操作
			a.创建一个名叫mycoll的固定集合要求大小在100个字节，可以存储10个文档
				db.createColletion("mycoll",{size:100,capped:true,max:10})
			b.把一个普通的集合转换成固定集合
				db.runCommand({convertCapped:"persons",size=10000})
			c.反向排序,默认是插入顺序排序
				db.mycoll.find().sort({$natural:-1})
	1.9 GridFS
		1.简述
			GridFS是mongoDB自带的文件系统，使用二进制的形式存储文件
		2.利用的工具
			mongofile.exe
		3.使用
			a.查看GridFS的所有功能
				cmd -> mongofiles
			b.上传一个文件
				mongofiles -d 数据库名 -l "E:\t.txt" put "a.txt"
			c.集合查看存储文件的信息
				db.fs.chunks.find()
				db.fs.files.find()
			d.集合中所有文件
				mongofiles -d 数据库名 list
	1.10 其他脚本
			1.服务器端运行eval
				db.eval("function(name){return name}","test")
			2.js的存储
				a.在服务上保存js变量供给函数全局调用
					db.system.js.insert({_id:name,value:"test"}) //保存变量name
					db.eval("{return name;}")  //调用变量 注意变量名必须定义。不然报错  
				//其中js相当于关系型数据库中的存储过程，因为value值可以为函数
	1.11 运维管理
			1.启动配置
				--dbpath 指定数据库目录 默认情况下在c:/data/db
				--port   监听端口		默认情况下是27017
				--fork	 用守护进程方式启动mongoDB
				--logpath	指定日志输出目录	默认是控制台
				--config	指定启动项用文件的路径
				--auth		用安全认证方式启动数据库
				示例：
					1.使用config配置文件来启动数据库，将启动端口改为8888
						mongodb.conf文件(安装目录下)
						dbpath=D:/data
						port=8888
						
						--启动命令
						mongod.exe --config ../mongodb.conf
						
						--客户端连接命令
						//如果是在shell下操作  命令是mongo 127.0.0.1:8888
				
					2.停止数据库服务
						a ctrl+c组合键
						b admin数据库命令关闭
							use admin
							db.shutdownServer()
			2.导入/导出
				a 导入数据
					使用mongoimport命令
					参数有
						--db 指定数据库
						--collection 指定集合
						--file 指定文件
						--host 指定主机
						--port 指定端口
					示例：
						mongoimport --db test --collection person --file "D:/t.txt"
				b 导出数据
					使用mongoexport命令
					参数有
						-d 指定数据库
						-c 指定集合
						-o	指定输出文件
						-csv  导出csv格式
						-q		过滤导出
						--type<json|csv|tsv>
						--host 指定主机
						--port 指定端口
					示例：
						1.导出本机
							mongoexport -d persons -c person -o "D:/t.txt"  
						2.导出其他主机
							mongoexport --host hadoop --port 8888
				c 备份/恢复
					1.运行时备份 mongodump
						示例： mongodump --host 127.0.0.1:27017 -d test -o "d:/bak" --会根据数据库新建同名文件夹
					2.运行时恢复 mongorestore
						示例： mongorestore --host 127.0.0.1:27017 -d test -directoryperdb "d:/bak/test"
					3.懒人备份  直接将数据文件拷贝
			3.锁
				a Fsync使用
					数据库结构图：
						读写操作->缓冲池->数据库 (从上到下)
					上锁：将缓冲池的数据全部写进数据库中
							示例： 
								  use admin  --选择需要上锁数据库
								  db.runCommand({fsync:1,lock:1}); --上锁
					解锁：当上锁操作完成后的操作
							示例：db.currentOp()
					数据修复：数据库自我修复的能力
							示例：
								use admin  --选择需要修复数据库
								db.repairDatabase()
			4.用户管理
				在启动时需启动安全检查 --auth
				a 添加用户
					use admin  --选择需要添加用户的数据库
					db.addUser("root","password"); --参数为用户名和密码
				//其中admin数据库中的用户为管理员用户
				b 启用用户
					db.auth("用户名","密码");
				c 删除用户
					db.system.users.remove({user:"root"}); --删除用户名为root的用户
	
	1.12 主从架构
		a 主从复制————一个简单的数据库同步备份的集群技术
			1.1 在数据集群中要明确的知道谁是主服务器，主服务器只有一台
			1.2 从服务器要知道自己的数据源，也就是对于主服务器是谁
			1.3 --master用来确定主服务器
				--slave和-source来控制从服务器
			示例：
				1台主服务器配置文件
					dbpath=数据库目录 
					port=8888	--端口
					bind_ip=127.0.0.1  --绑定IP地址
					master=true		--主服务器标识
				
				1台从服务器配置文件
					dbpath=数据库目录 
					port=7777	--端口 可跟主服务器一样也可不一样，建议不一样
					source=127.0.0.1:8888 --指向主服务器
					slave=true		--从服务器标识
			1.4 主从复制的其他设置项
				--only 指定复制某个数据库，默认为全部数据库   从服务器端设置
				--slavedelay 设置主数据库同步数据的延迟(单位为秒)  从服务器端设置
				--fastsync	以主数据库的节点快照为节点启动从数据库  从服务器端设置
				--autoresync	如果不同步则重新同步数据库  从服务器端设置
				--oplogsize		设置oplog的大小(主节点操作记录存储在local的oplog中)  主服务器端设置
			1.5 动态添加和删除从节点
				添加： db.sources.insert({"host","192.168.1.100:9999"})  --添加一个新的从节点
				删除:  db.sources.remove({"host","192.168.1.100:9999"})  --删除一个从节点
		b 副本集————主从分布式
			假设有个集群，三台服务器，分别是ABC,其中A为主服务器，BC为从服务器
				1 当A活跃时，BC用于备份
				2 当A出现故障时，B变成活跃
				3 当A再恢复后，此时AC变成备份服务器，B为主服务器
				4 插入更新查询操作只能在活跃节点上执行，备份节点只能备份
			示例：
				第一步：修改服务器配置文件
					A服务器配置文件
						dbpath=数据库目录
						port=1111
						bind_ip=127.0.0.1
						replSet=child/127.0.0.1:2222 --设定同伴
					B服务器配置文件
						dbpath=数据库目录
						port=2222
						bind_ip=127.0.0.1
						replSet=child/127.0.0.1:3333 --设定同伴
					C服务器配置文件
						dbpath=数据库目录
						port=3333
						bind_ip=127.0.0.1
						replSet=child/127.0.0.1:1111 --设定同伴
				第二步：初始化副本集(在主服务器上设置)
					use admin
					db.runCommand({
						"replSetInitiate":
						{
							"_id":‘child‘,
							"members":[
								{"_id":1,
								 "host":"127.0.0.1:1111"
								},
								{"_id":2,
								 "host":"127.0.0.1:2222"
								},
								{"_id":3,
								 "host":"127.0.0.1:3333"
								}
							]
						}
					})
				第三步：查看副本集
					rs.status()
			节点参数：
				standard  常规节点  参与投票 可能成为活跃节点
				passive	  副本节点  参与投票 不能成为活跃节点
				arbiter	  仲裁节点	参与投票 不能成为活跃节点
				Priority  权重  0~1000 其中0表示副本节点，1~1000表示常规节点
				arbiterOnly:true  --表示仲裁节点
				
	1.13 分片
			1.使用步骤(一台配置服务器，一台路由器，两台数据库)
				1.1 创建一个配置服务器
					mongod --config 配置服务器.conf
				1.2 创建路由服务器，并连接到配置服务器
					路由器调用mongos命令 
				1.3 添加2个分片数据库
					 8081和8082
				1.4 利用路由器为集群添加分片(允许本地访问)(在路由器服务器执行)
					db.runCommand({addshard:"127.0.0.1:8081",allowLocal:true})
					db.runCommand({addshard:"127.0.0.1:8082",allowLocal:true})
					//其中数据库之前不能使用任何数据库语句
				1.5 打开数据库分片功能(在路由器服务器执行)
					db.runCommand({"enablesharding":"数据库名"})
				1.6 对集合进行分片
					db.runCommand({"shardcollection":"数据库名.集合名","key":{"_id":1}})		
				1.7 查看集群中的所有分片
					db.shards.find()
	1.14 JavaAPI	
			1.导入jar包
			2.建立一个mongo的数据库连接对象
				Mongo mo = new Mongo("127.0.0.1:8888");  默认是127.0.0.1:27017
			3.查询所有的数据库名字
				mo.getDataBaseNames();
			4.创建相关数据库的连接
				DB db = mo.getDB("数据库名");
			5.查询数据库所有的集合名字
				db.getCollectionNames();
			6.创建相关集合连接
				DBCollection c = db.getCollection("集合名");
			7.查询集合所有数据
				DBCursor cur = c.find();
				//遍历指针
				while(cur.hasNext()){
					DBObject o = cur.next();
					System.out.println(NameValue:" + o.get("name"));  //得到name字段值
				}
			8.其他操作
				cur.count();//个数
				JSON.serialize(cur);//转换Json对象
			9.新建集合操作
				db.createCollection("集合名",new DBObject());//如果没有new DBObject()不操作集合退出的話，集合会从缓存中销毁
			10.插入集合数据操作
				DBObject doc = new BasicDBObject();
				doc.put("name","test");
				doc.put("age",12);
				List<String> books = new ArrayList<String>();
				books.add("MongoDB");
				books.add("Java");
				books.add("SQL");
				doc.put("books",books);
				c.insert(doc);  --当传入参数类型是list时则是批量插入
			11.删除操作
				c.remove(new BasicDBObject("_id",new ObjectId(id)))  --根据Id删除 因为集合中的ID是ObjectId类型
			12.更新操作
				c.update(find,update,upsert,multi)
					--find 查询器
					--update 更新器
					--upsert 更新或者插入  true/false
					--multi		是否批量	true/false
			13.分页操作
				c.find().limit(5).skip(3); 每页5条，从第四条开始时(含第四条)
			14.排序操作
				c.find.sort();
			15.关闭对象
				c.close();
				db.close();