全部栏目

首页 热点资讯 中小学知识 大学知识 出国留学 考研考公
您的当前位置：首页正文

利用pymongo操作mongoDB数据库

2022-06-15 来源：知库网

利用pymongo操作mongoDB数据库 #连接数据库def get_db(): from pymongo import MongoClient client = MongoClient(localhost:27017) db = client.examples #examples here is the database name.it will be created if it does not exist. #如果 examples不

利用pymongo操作mongoDB数据库

#连接数据库

def get_db():

 from pymongo import MongoClient 
 
 client = MongoClient('localhost:27017')
 
 db = client.examples #'examples' here is the database name.it will be created if it does not exist.
 #如果 examples不存在，那么就会新建它
 return db
#插入操作
def add_city(db):

 db.cities.insert({'name':'Chicago'}) #inser 插入一个字典
#获取数据
def get_city(db):
 return db.cities.find_one()#从cities中返回任意一个数据
if __name__ == '__main__':
 db = get_db()
 add_city(db)
 print get_city(db)


上面只是操作mongoDB数据库的最简单的一个例子。


我们基于mongoDB的应用(APP)，pymongo模块，与mongoDB数据库，三者之间是什么关系呢？


我觉得可以表示为： APP <-------------->pymongo<-----BSON-------->mongoDB
其中：BSON 为Binary Json
有了这个概念后，你就会理解为什么mongoDB是字典家族。


所以在mongoDB的操作中一定要建立一切皆为字典的基本认识。

步入正题，先说一下Query操作 query = {'manuafacturer':'Porsche'}

projection = {'_id':0,'name':1}#显示为1，不显示为0

db.myautos.find(query,projection)#查找制造商为保时捷的数据，但是不显示'_id',显示'name'

db.myautos.find(query,projection).count()#返回满足条件的数据的数量
从json文件导入数据库： 
在terminal下：

$mongoimport -db dbname -c collectionname --file inputfile.json

比较操作符：

$gt $lt $lte $gte $ne 分别对应为：

大于(greater than) 小于(less than) 小于等于(less than equal) 大于等于(greater than equal) 不等于(not equal)

query = {'population':{'$gt':10000}} #人口大于10000

query = {'population':{'$gt':10000, '$lte':20000}} #人口大于10000小于等于20000

query = {'name':{'$gt':'X', '$lte':'Z'}}#name 头字母介于X Z之间

from datetime import datetime

query = {'foundationDate':{'$gt':datetime(1840,1,1), '$lte':datetime(2049,10,1)}}
#介于1840,1,1日和2049,10,1 的时间
存在操作符$exist 
query = {'governmentType':{'$exist':1}} #1表示存在
query = {'governmentType':{'$exist':0}} #0表示不存在
正则表达式操作符$regex 
query = {'motto':{'$regex':'[Ff]riendship'}}

$in 与 $all

query = {'modelYears':{'$in':[1965,1967,1977,1987]}}#只要存在一个就可以
query = {'modelYears':{'$all':[1965,1967,1977,1987]}}#四个必须全部同时存在

如果数据结构为：

{'dimension':{'width':25,
 'height'：30，
 'length':89}
 ........
 }

Query 字典可以为：

query = {'dimension.width':25}

city = db.cities.find(query)

for ele in city:
 city['dimension'] = 66

#保存修改
db.cities.save(city)

update操作

db.cities.update({'name':'michael',
 'country':'china'},#条件
 {'$set':{'iso':1978}})#满足条件的条目中,有'iso'属性的,其值改为1978

db.cities.update({'name':'michael',
 'country':'china'},#条件
 {'$unset':{'iso':1978}}) #满足条件的条目中,有'iso'属性的,删除'iso'属性 
#多个修改
db.cities.update({'name':'michael',
 'country':'china'},#条件
 {'$set':{'iso':1978}}, multi = True)

aggregate操作

我们考虑如下的数据结构：

{
 "_id" : ObjectId("5304e2e3cc9e684aa98bef97"),
 "text" : "First week of school is over :P",
 "in_reply_to_status_id" : null,
 "retweet_count" : null,
 "contributors" : null,
 "created_at" : "Thu Sep 02 18:11:25 +0000 2010",
 "geo" : null,
 "source" : "web",
 "coordinates" : null,
 "in_reply_to_screen_name" : null,
 "truncated" : false,
 "entities" : {
 "user_mentions" : [ ],
 "urls" : [ ],
 "hashtags" : [ ]
 },
 "retweeted" : false,
 "place" : null,
 "user" : {
 "friends_count" : 145,
 "profile_sidebar_fill_color" : "E5507E",
 "location" : "Ireland :)",
 "verified" : false,
 "follow_request_sent" : null,
 "favourites_count" : 1,
 "profile_sidebar_border_color" : "CC3366",
 "profile_image_url" : "http://a1.twimg.com/profile_images/1107778717/phpkHoxzmAM_normal.jpg",
 "geo_enabled" : false,
 "created_at" : "Sun May 03 19:51:04 +0000 2009",
 "description" : "",
 "time_zone" : null,
 "url" : null,
 "screen_name" : "Catherinemull",
 "notifications" : null,
 "profile_background_color" : "FF6699",
 "listed_count" : 77,
 "lang" : "en",
 "profile_background_image_url" : "http://a3.twimg.com/profile_background_images/138228501/149174881-8cd806890274b828ed56598091c84e71_4c6fd4d8-full.jpg",
 "statuses_count" : 2475,
 "following" : null,
 "profile_text_color" : "362720",
 "protected" : false,
 "show_all_inline_media" : false,
 "profile_background_tile" : true,
 "name" : "Catherine Mullane",
 "contributors_enabled" : false,
 "profile_link_color" : "B40B43",
 "followers_count" : 169,
 "id" : 37486277,
 "profile_use_background_image" : true,
 "utc_offset" : null
 },
 "favorited" : false,
 "in_reply_to_user_id" : null,
 "id" : NumberLong("22819398300")
}

$group 操作

group = {'$group':{'_id':'$user.screen_name','count':{'$sum':1}}}

#group操作必须有个键是'_id'表示操作的对象，'$sum'表示求和操作

#上面这一行代码的意思是，统计各个'user.screen_name'的个数

$sort 操作，顾名思义，排序操作，其对某个键值进行升序或是降序操作

#接上段代码
sort = {'$sort:{'count':-1}} #按照'count'对应的值得降序排序

将group,sort整合到aggregate函数中，就能得到我们想要的结果

pipeline = [group,sort]
result = db.tweets.aggregate(pipeline)
#result 是一个字典。result['result'] 包含处理好的数据的列表
#整个操作就是，统计各个user.screen_name的数量，并倒序排列

上面仅仅是最简单的例子

下面我们继续讨论其他操作：

$match ,顾名思义，我更愿意叫他“过滤器”

好吧让我举个例子，我想找出数据库中谁的人气最旺！你给我个建议，怎么找到这个逗比？

￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥好好想想￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥￥

￥￥￥￥￥￥￥￥￥￥￥￥￥是国民老公，王思聪￥￥￥￥￥￥￥￥￥￥￥￥￥还是，臭脚，杨幂￥￥￥￥￥￥￥￥￥

￥￥￥￥￥￥￥￥￥是某个微博卖肉的小明星？￥￥￥￥￥￥￥还是传媒达人，谷大白话？￥￥￥￥￥￥￥￥￥￥￥￥

好吧，我只想到了个比值，用比值表示，是比值，不是逼值

比值 = 粉丝数/好友数

当然，关注数也还行，可我就是这么任性，像姜文大叔一样，怎么滴？

奥，你说，你要这样我不看了啦！

好！你不看就不看吧，小弟看了姜文大叔的电影，学了一个本事儿。

我悄悄告诉你：姜文的意思是：我拍电影不是给你看的，我是给自己看的。小弟不才，没钱拍电影，》》写博客不是给别人看的，是给自己看的。对！我在自言自语。另一个我在看博客。

扯回来$match ，不，扯回来找比值，看看我怎么找比值吧，不，是最大比值

match = {'$match':{'user.friends_count':{'$gt':0},'user.followers_count':{'$gt':0}}}
#确保 好友数和粉丝数都是正数
project = {'$project':{'ratio':{'$divide':['$user.followers_count','$user.friends_count']},
 'screen_name':'$user.screen_name'}}
#创建'ratio'和'screen_name'两个键值，其中，'ratio'利用了'$divide'除法，对两个变量进行除法操作，当然，
#这个列表有先后顺序
#下面进行排序
sort = {'$sort':{'ratio':-1}} #降序排列
#选取第一位
limit = {'$limit':1}
#$limit 限制选择结果的个数

pipeline = [match, project, sort, limit]
result = db.tweets.aggregate(pipeline)

$unwind 操作, 举例如下:

假设有这样的字典结构：

{
	'id':'1',
	'author':'jone',
	'tags':['good','fun','good']
}
进行db.article.aggregate操作

db.article.aggregate([{'$prject':{'author':1,'tags':1}},{'$unwind':'tags'}])
结果为：

{'result':[{'_id':'XXXX','author':'jone','tags':'good'},
 {'_id':'XXXX','author':'jone','tags':'fun'},
 {'_id':'XXXX','author':'jone','tags':'good'}],
 'ok':1}
所以$unwind操作的操作对象是数组，如果不是数组会报错。他的作用就是将数组中的每个元素代替数组本身，最后产生多个item，新产生的item的数目自然就是

原来数组的长度。


$group操作

我们考虑最开始的twitter数据，如果我要找到哪一个微博文本被转发的平均次数最多，该如何写我们的aggregate呢？

首先要找到推文的hashtag，这里补充一下，上文中的twitter数据中的

"entities" : {
 "user_mentions" : [ ],
 "urls" : [ ],
 "hashtags" : [ ]
结构中，‘entiyies.hashtags’是个列表。所以我们可以进行$unwind操作

而’retweet_count‘标明了被转发的次数，进行平均计算就可以了。

 unwind = {'$unwind':'$entities.hashtags'}
 group = {'$group':{'_id':'entities.hashtags.text','retweet_avg':{'$avg':'$retweet_avg'}}}
注意：$group操作必须有'_id'属性，其次
'entities.hashtags.text'
还可以是自己起的名字，如’txt‘。’$avg‘是进行求平均值操作。类似的还有：

'$sum' '$first' '$last' '$max' '$min' 等

接着进行排序操作，这样所有操作就是如下：

unwind = {'$unwind':'$entities.hashtags'}
group = {'$group':{'_id':'$entities.hashtags.text','retweet_avg':{'$avg':'$retweet_avg'}}}
sort = {'$sort':{'retweet_avg':-1}}
limit = {'$limit':1}
pipeLine = [unwind,group,sort,limit]
db.article.aggregate(pipeLine)
毛主席教导的好，有矛就有盾，既有$unwind拆分数组，就收神器组成数组。你猜他会是什么呢？

$push, $addToSet

顾名思义，push和addToSet都是将元素组合到数组中，但是addToSet更加高级，Set是集合，所以addToSet形成的数组中没有重复元素。

push形成的数组中是可以有重复元素的。

这就是二者的不同之处。


好了，利用pymongo处理mongoDB是不是很简单呢？大家都这么说哒。

我也觉得不难啦。





显示全文