外贸网站如何制作,wordpress模板自适应修改,广告公司实践报告3000字,wordpress最新视频教程笔记整理#xff1a;侯哲衡#xff0c;东南大学硕士#xff0c;研究方向为知识图谱问答、自然语言生成。动机对话资讯搜索是在智能问答中一个新兴研究领域。对话资讯搜索旨在根据通过用户查询自动询问资讯搜索式问题#xff08;information-seeking questions#xff0c;I… 笔记整理侯哲衡东南大学硕士研究方向为知识图谱问答、自然语言生成。动机对话资讯搜索是在智能问答中一个新兴研究领域。对话资讯搜索旨在根据通过用户查询自动询问资讯搜索式问题information-seeking questionsISQs、记录寻求资讯者的响应并根据响应来确定寻求资讯者的需求。这一领域现有的工作主要集中于根据寻求资讯者的响应检索相关上下文生成答案缺少根据用户查询自动生成ISQs相关的研究。根据用户查询自动生成ISQ的主要挑战在于用户查询往往是短而有限的需要额外的知识生成用户需要的答案。ISQ与澄清式问题Clarifying questions不同的是澄清式问题所关注的仅限于查询中的实体而ISQ需要系统深入挖掘查询中的实体在知识图谱中的相互联系。同时这一研究缺少相对应的高质量数据集。为了解决上述问题文章提出了一个资讯搜索式问题生成器Information SEEking Question generatorISEEQ。资讯搜索式问题生成器的设计思路主要来源于对三个问题的探索1.知识图谱/知识库是否可以帮助上下文检索和问题生成2.ISEEQ生成的ISQs是否语义清晰逻辑连贯3.ISEEQ 能否跨领域场景中生成 ISQ贡献文章的贡献有1.首次提出资讯搜索式问题生成这一任务并提供一种解决思路2.对于用户查询引入知识图谱增强查询进行上下文检索的过程3.通过引入强化学习增强生成问题的多样性和可读性4.引入两个评估指标“语义关联性”和“逻辑连贯性”评估生成ISQs的质量方法⒈ 任务定义输入为一个任意领域相关的短查询 。输出是一串资讯搜索式问题 。⒉ 模型框架如下图1所示为本文提出的ISEEQ模型框架。图1 ISEEQ模型框架如图1所示ISEEQ模型结合了基于BERT的解析器蓝色语义查询扩展模块黄色和知识感知上下文检索模块绿色帮助问题生成模型橙色生成的ISQ之间语义相关。问题生成模型则包含了 ISEEQ 两种变体ISEEQ-RL 和 ISEEQ-ERL的结构。本文在强化学习环境中训练 ISEEQ在生成 ISQ 的同时最大化语义关系和连贯性。⒊ 语义查询扩展模块本文借助常识知识图谱(CNetKG)扩展用户输入的短查询。首先使用 CNetKG 在用户查询描述 d 中提取实体集 。为此文章使用预训练的基于自注意力编码器-解码器的选区解析器与 BERT 作为 ISEEQ 中的一致性编码器。解析器有条件的提取名词短语这些名词短语捕获定义 IS 查询的候选实体。如果短语在 CNetKG 中有提及则将它们称为实体 1。然后在实体集 上用深度优先搜索在 CNetKG 上执行多跳三元组主体-实体、关系、对象-实体提取。提取形式类似 和 的三元组其中 。我们只保留那些 出现为主体实体的三元组。通过这种启发式规则可以1最小化噪音和 (2) 收集更多关于 中实体的直接信息。最后文章通过注入提取的三元组来对输入 d进行文本化以获得一个知识增强的查询 。⒋ 知识生成模块给定知识增强的查询 知识增强模块从一个集合P中进行上下文检索并获取最优的K个上下文 。为此文章对Lewis et al. 2020中描述的密集上下文检索器DPR进行了以下具体改进1用于上下文p∈P 和k_d的 Sentence-BERT 编码器。我们使用 Sentence-BERT 创建 p∈P的密集编码表示为 。同样 的编码表示为 。(2) 结合SITQ (Simple locality sensitive hashing (Simple-LSH) and Iterative Quantization)算法通过使用归一化实体分数(NES)来挑选top-K段落 。SITQ 是一种基于 MIPS 的快速近似搜索算法用于检索和排列段落。这一算法可以被表示为一个分值这个分值通过以下两个公式计算知识生成模块在训练集中的每个查询至少有一个生成 ISQ 时停止迭代。⒌ 问题生成模型ISEEQ 利用 和 作为奖励函数在强化学习中学习 QG。ISEEQ使用T5作为生成模型Electra-base作为鉴别模型学习资讯搜索式问题。奖励函数ISEEQ-RL和ISEEQ-ERL中的奖励函数被定义为ISEEQ-RL中的损失函数被定义为ISEEQ-ERL中的损失函数被定义为实验⑴. 实验细节本文在多个数据集上进行了实验这些数据集的具体指标如下表所示图4 数据集指标本文使用SQUADv2.0对模型进行微调。本文利用了Pytorch Lightning和Hugging Face transformer实现模型。模型参数使用python包ray进行调整最终 学习率设为1.17e-5。模型对每一轮迭代都进行了交叉验证并根据不同的数据集迭代了100-120轮。⑵. 实验结果如下图3所示与其他数据集相比基于多上下文的问题生成比 TLMs-FT 中使用单上下文问题生成能产生更好的结果。图3 ISEEQ与基线模型对比结果另外作者还进行了消融试验测试了语义查询扩展模块的效果。效果如图4所示图4 语义查询扩展模块的消融试验不仅如此作者还通过人工评估测试了ISEEQ-ERL的效果如图5所示图5 人工评估总结本文提出了一种根据用户查询自动生成资讯搜索式问题的方法引入强化学习有效增强了生成的多个问题之间的语义关联性和逻辑连贯性。人工评估和自动评估指标皆表明ISEEQ模型效果非常不错。OpenKGOpenKG中文开放知识图谱旨在推动以中文为核心的知识图谱数据的开放、互联及众包并促进知识图谱算法、工具及平台的开源开放。点击阅读原文进入 OpenKG 网站。
