第3个课题是“基于案卷语义分析的审判质量多粒度评估技术”，由西安交通大学牵头，主要研究目标是围绕面向法官绩效考核的全类别案件审判质量多粒度评估关键技术，研究基于机器阅读理解技术的审判公正性评估方法，基于人案信息深度融合的审判效率评估技术，基于舆论焦点识别和深层情感识别技术的审判效果评估方法，构建全类别案件审判质量量化评估原型系统。该课题实现了从审判公正性、审判效率与审判效果三个角度，对不同类型的案件审理进行智能化、精细化地审判质量量化评估功能，为后续的法院综合管理平台建设与应用示范提供支持，对整个项目研究中关于案件类别全覆盖的审判质量智能评估的业务需求进行了研究与实现。

（1）研究目标

本课题研究案件类别全覆盖的审判质量评估技术，建立刑事、民事、行政案件质量量化与评估模型，基于法官办案数据对审判公正性、审判效率和审判效果进行智能评估，为法官绩效考核提供可靠依据。

（2）主要研究内容

针对全类别案件的审判公正性、审判效率和审判效果评估问题,本课题在传统审判质量评估指标体系的基础上，利用深度学习、自然语言处理和知识库等人工智能前沿技术，智能化的判定裁判文书的公正性和逻辑准确性、评估案情的复杂度、预测案件的审判时间、监控网络舆情评估案件审判的效果。

研究任务1：基于机器阅读理解技术的审判公正性评估方法

裁判文书总结了案件案情、审判依据和审判结论，是审判公正性评估的重要数据源。基于裁判文书，常规的评估方法多采用自查、互查与上级法院抽查相结合的方式，评价结果区分度低、客观性差。本课题拟通过机器阅读理解技术对裁判文书进行分析，捕捉案件争议焦点，综合案件事实及不同类别案件的法律差异自动判别适用法律，高效、准确地对审判的公正性进行评估。主要研究内容如下，首先，基于争议焦点提取分析的裁判文书法理严谨性评估。为了评估裁判文书是否恰当地引用法律条文，首先对案件卷宗进行语义分析，提取争议焦点，自动推测案件涉及的法律条文，随后与裁判文书进行对比，判断事实描述是否一致，判决是否有程序错误、遗漏诉讼请求、法律条文引用错误等问题。其次，基于逻辑依存分析的裁判文书逻辑性评估。通过机器阅读理解技术从大量卷宗中归纳出案情，评价裁判文书各部分说明是否清晰明确、没有歧义。基于语义依存分析，提出针对语句逻辑性的逻辑依存分析方法，判断案情事实与判决理由是否因果关系清楚、没有逻辑错误，判决是否明确、具体。

研究任务2：基于人案信息深度融合的审判效率评估技术

传统的方法针对审判效率评估，采用确定指标、公式化计算的方法进行量化的评价。然而对于难易程度不同的案件，这样绝对化的数值评价指标缺乏客观性与比较性。在司法实践中，影响审判效率的主要因素包括审判环节的流程，以及审判过程中各子流程的时间跨度。案件的案情关系到审判过程中的流程选择；案情的复杂度、审理法官的专业能力以及人案契合关系影响着各个审判子流程的时间跨度。故而本课题拟建立基于案情理解的审判流程预测模型以及基于人案信息深度融合的效率预测模型，实现了对于全类别案件审判效率的多粒度评估。主要研究内容如下，首先，基于适用法律推测的审判全流程预测。研究案情到适用法规的关联推测技术，使用seq2seq神经网络模型，进一步学习法规到审判流程序列的映射模型，实现案件审判全流程的预测。其次，基于审判难度的审判效率预测与评估。结合案情的深度语义理解和审理法官的专业画像信息，使用基于Co-Attention的深度神经网络，推测审判各子流程的审判难度以及预估的时间跨度。与实际的各流程审判时间进行对比，细粒度的评估审判效率。

研究任务3：基于舆论焦点识别和深层情感识别技术的审判效果评估方法

传统的审判效果评估方法，多以撤诉率、实际执行率等客观指标为依据，忽视了对社会影响的分析调查。本课题拟对微博、今日头条等社交网络平台的用户评论进行舆论焦点识别，并使用深度情感分析技术理解评论用户对该焦点问题的情感倾向，精确把握舆论对案件审判效果的认可程度。主要研究内容如下，首先，基于知识库远程监督的舆论焦点识别。为了分析网络用户的舆论焦点（例如：审判过程持疑，法律条文适用持疑等），基于案件评论数据，构建具有深度注意力机制的循环神经网络模型，通过司法知识库监督模型的训练过程，实现舆论焦点发现并进行观点归纳。其次，基于双向长短时记忆模型的深层情感识别技术。利用神经网络的双向结构，充分识别句子的语法结构，识别句子中是否出现隐喻语气及反语结构，从而解决文本情感分析中隐语、反语难以正确理解的难题，准确推测用户评论的真实情感倾向，以此为基础进行回归训练即可得到一个关于审判效果的评分。

（3）拟解决的重大科学问题或关键技术问题

关键技术1：基于自注意力机制的争议焦点提取及适用法律推断技术

针对裁判文书法理严谨性智能评价问题，本课题提出基于自注意力机制的案情理解及适用法律推断技术。该技术使用基于自注意力机制的文本理解算法，分析案件卷宗，识别案件的争议焦点；基于多对多encoder-decoder框架的长短时记忆（LSTM）循环神经网络模型，根据争议焦点推测出本案适用的法律条文。该技术解决了裁判文书文本的非结构性、多样性，法律条文的同质化、排他性等问题，实现了自动智能地评价裁判文书的法理严谨性这一目的。

关键技术2：基于co-attention机制的审判流程难度预测技术

针对具体子流程审判难度预测问题，本课题提出基于Co-Attention机制的审判流程难度预测技术。基于案件审判全流程预测的结果以及案件审理法官的人物画像信息，使用基于Co-Attention机制的深度神经网络，对人案匹配的交互信息进行分析并提取；利用基于多层感知机的深度分类器，根据提取得到的人案匹配信息推测案件审理难度。该技术解决了传统审判效率评估所使用的指标量化方法存在缺乏可比较性的问题，实现了基于案件难度的客观评价审判效率的目的。

关键技术3：基于知识库远程监督的案情舆论焦点识别技术

针对舆论焦点挖掘问题，本课题提出基于知识库远程监督的案情舆论焦点识别技术。该技术使用文本“编码-解码”框架，其中编码层用于理解评论的语义，利用司法知识库远程监督文本编码过程，定位评论焦点并对隐含层参数进行调整；解码层解码出舆论焦点并进行总结，归纳出反映案件审判效果的公众讨论焦点及观点意见。该技术解决舆论评价中语义模糊、多焦点等问题，实现利用舆论反映公众对审判效果评估这一目的。

（4）考核指标及评测手段/方法

功能指标：

1）基于机器阅读理解技术的审判公正性评估方法，实现争议焦点提取、法律推断和文书错误标注；

2）基于人案信息深度融合的审判效率评估技术，面向刑事、民事、行政3类案件构建案件审判流程预测模型，实现审判流程预警、法官画像和审判效率预测；

3）基于舆论焦点识别和深层情感识别技术的审判效果评估方法，实现案情舆论焦点收集及识别和舆论倾向分析；

4）建立全类别案件审判质量量化评估原型系统，支持对刑事、民事、行政等至少3类案件的审判公正性、审判效率及审判效果进行量化评估。

性能指标：

1）基于机器阅读理解技术的审判公正性评估方法，争议焦点覆盖率不低于85%，适用法律推断准确率不低于80%，逻辑错误标注准确率不低于80%；

2）基于人案信息深度融合的审判效率评估技术，审判流程预测准确率不低于90%，案件审判效率预测准确率达到80%；

3）基于舆论焦点识别和深层情感识别技术的审判效果评估方法，舆论焦点识别准确率不低于85%，舆论倾向分析准确率不低于80%；

4）建立全类别案件审判质量量化评估原型系统，对刑事、民事、行政等至少3类案件的审判公正性、审判效率及审判效果的评估结果准确率不低于80%。

标准规范指标：

编制案件审判质量智能评估相关规范草案1项。

知识产权指标：

受理技术发明专利3件，获得软件著作权1项，发表论文4篇。

测评手段/方法：

1）审判公正性、效率、效果评估方法通过构建真实数据集测试，并由第三方评测机构出具测试报告；

2）提供标准草案文本，邀请相关专家对标准的内容可用性、适用性等方面进行评审和论证；

3）知识产权指标的评测通过专利受理通知书、软件著作权证书、论文收录证明。

（5）参加单位任务分工

西安交通大学：课题牵头单位，总体负责课题研究与实施；研究基于机器阅读理解技术的审判公正性评估方法，研究基于人案信息深度融合的审判效率评估技术，搭建案件审判质量评估原型系统。编制案件审判质量智能评估相关规范草案1项，受理技术发明专利3件，获得软件著作权1项，发表论文4篇。