码迷,mamicode.com
首页 > 其他好文 > 详细

[NLP] 基于知识图谱的视觉问答

时间:2019-11-12 00:53:33      阅读:222      评论:0      收藏:0      [点我收藏+]

标签:read   ==   动态   问题   jpg   info   比较   numpy   version   

基于知识图谱的视觉问答

前言

我们知道现在主流的VQA都是神经网络,特征序列输入RNN或者LSTM,基于注意力机制这样做一套,经典的如Show Attend and Tell、Top down Attention等,都是基于神经网络做的视觉问答,我这里基于知识图谱做的,所以势必牵扯到本体建模,由于时间有限,所以我选择了一张比较简单的图片进行本体建模,而且只做了一张图片的建模。但如果能够对整个数据集建模(人力、财力够的话),或者通过某些图方法实现从图片信息和标注信息中自动本体建模,那么我这一套流程感觉有很有意义了。所以,我知识提出一个思路,并简单实现下Demo,并不能做工程上的应用。

我选知识图谱这门课和做这个项目的动机均来自:

?Reasoning-RCNN: Unifying Adaptive Global Reasoning into Large-scale Object Detection

效果

技术图片

图片本体建模

技术图片

这张图片是来自COCO数据集的一张图片,我精挑细选才找到这么一张比较简单的哈,建模的过程是使用 Protege 鼠标点一点就完成了,关系呢主要是“在左边”、“在右边”、“在上边”、“在下边”、”躺在“等等这样描述位置的关键词,最后建立好的本体如图可视化所示:

技术图片

问句分析

我们从命令行输入一个问题,这肯定就涉及到机器要理解我们问的问题了对吧。

首先肯定标准的Jieba分词,这个就不解释了。

然后呢?我们要知道他问的是啥,是问图里面有什么东西呢,还是问图里有多少只猫呢。所以我先去匹配了下出现多少、什么等词,每个词作为一个问句类型。对每个问句类型就要做不同的处理了。

什么:1

哪里:2

多少:3

当然这种匹配肯定不是完全能匹配到的,所以最好去训练个贝叶斯分类器对jieba分词的结果分类得到对应的问句类型。

同样的,根据预定义的实体名称去匹配实体,这样就拿到了问句中的实体和问句类型。

然后根据他们出现的先后顺序,又可以与预定义的问题匹配上,每个预定义问题又对应一种查询方式,所以实现最终的查询。

这一块应该给一个NLP懂得比较多的人做,我自己不做这块所以说的比较简单。

查询

SELECT ?object
FROM <http://test.com>
where {
    <http://example.com/{subject}> <http://example.com/{subject}> ?object
};

不同的问题不同的查询方式,这里是查宾语的例子,得到查询结果。

视觉可视化

COCO数据集里提供了json格式的标注,利用COCOAPI我们得到凸包格式标注,然后使用Opencv画一下轮廓就好了,至于动态效果,就是waitkey。

代码:

'''
@Descripttion: This is Aoru Xue's demo, which is only for reference.
@version: 
@Author: Aoru Xue
@Date: 2019-11-08 13:10:19
@LastEditors: Aoru Xue
@LastEditTime: 2019-11-08 13:18:19
'''
from pycocotools.coco import COCO
import numpy as np
import cv2 as cv
import copy
color_map = {
            0:[220, 20, 60],
            1:[119, 11, 32],
            2:[0, 0, 142],
            3:[0,255,255],
            4:[250, 170, 30],
            5:[100, 170, 30]
        }
def id2name(vid):
    dic = {
        0:"Remote Control",
        1:"Remote Control",
        2:"Sofa",
        3:"Frame",
        4:"Cat",
        5:"Cat"
    }
    return dic[vid]
class Viz():
    def __init__(self):
        annFile = './instances_val2017.json'
        self.coco = COCO(annFile)
        self.sid = "000000039769" 
        self.annIds = self.coco.getAnnIds(imgIds=int(self.sid), iscrowd=None)            
        self.img = cv.imread("./" + self.sid + ".jpg")
        self.show = copy.copy(self.img)
    def anns(self,ann_id = 0):
        return self.coco.loadAnns(self.annIds[ann_id:ann_id + 1])
    def draw_(self,ann_id = 0,is_mask = False):
        instance = self.anns(ann_id = ann_id)[0]
    
        seg = instance["segmentation"][0]
        
        if is_mask :
            
            seg = np.array(seg,dtype = np.int).reshape(len(seg)//2,2)
            cv.drawContours(self.show,[seg],-1,tuple(color_map[ann_id]),-1)
        else:
            seg = np.array(seg,dtype = np.int).reshape(len(seg)//2,2)
            self.draw_hull(seg)
        print(seg[0])
        cv.putText(self.show,id2name(ann_id),tuple(seg[0]),cv.FONT_HERSHEY_SIMPLEX,1,(255,255,255),2)
        cv.imshow("result",self.show)
    def clear_(self):
        self.show = copy.copy(self.img)
        cv.imshow("result",self.show)
    
    def draw_hull(self,hulls):
        for i in range(len(hulls)):
            cv.line(self.show,(hulls[i][0],hulls[i][1]),(hulls[(i+1)%len(hulls)][0],hulls[(i+1)%len(hulls)][1]),(0,0,255),3)
        
if __name__ == "__main__":
    viz = Viz()
    
    
    #q = int(input("which one to show?"))
    q = 4
    viz.draw_(q,is_mask = True)
    cv.waitKey(0)
    
"""
遥控器-右:0
遥控器-左:1
沙发:2
左边猫子:4
右边猫子:5
"""

项目代码

晚点把NLP那部分完善一下发github。

[NLP] 基于知识图谱的视觉问答

标签:read   ==   动态   问题   jpg   info   比较   numpy   version   

原文地址:https://www.cnblogs.com/aoru45/p/11839263.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!