返回信息流第八届CCF国际自然语言处理与中文计算会议(NLPCC2019)将于2019年10月9日至14日在甘肃省敦煌市举行。该会是聚焦自然语言处理和中文计算领域的国际前沿学术会议,是学术界和工业界分享思想创意、学术成就和研究体验的一个重要平台。
按照惯例,NLPCC 2019将继续开展若干评测任务,旨在为研究人员提供自然语言处理相关的多种标注数据集,用以促进国内和国际的自然语言研究。由于每届评测都有来自工业界的合作伙伴提供数据集,因此该评测系列能够很好地促进学术界和工业界的相互交流和融合。
1. 评测任务简介
根据前期评测任务征集和评测组委会的筛选,NLPCC 2019将共设下述三个主题评测任务:
任务一:跨领域依存句法分析
任务描述:近年来,随着网络数据的大幅增加,句法领域移植的跨域分析已成为自然语言处理实际应用的主要挑战。为了应对标注数据的缺乏,我们在过去几年中花费了大量精力人工标注了大规模、高质量、具有领域代表性的数据(http://hlt.suda.edu.cn/index.php/SUCDT)。在本次评测任务中,我们提供了约17K (句子数)平衡语料(BC)数据作为源领域数据,10K句产品评论(PC)、8K句产品博客(PB)和3K句网络小说(ZX)数据作为三个目标领域数据;另外,对于目标领域的数据,我们还给出了大规模的无标注数据。针对半监督和无监督的领域移植场景,和封闭评测和开放评测两种设置,我们将评测划分为4个子任务:无监督领域移植(封闭或开放)、半监督领域移植 (封闭或开放)。
组织单位:苏州大学,阿里巴巴
联系人:李正华 (zhli13@suda.edu.cn),王睿 (masi.wr@alibaba-inc.com)
任务二:开放领域语义分析
任务描述:语义分析的目标是基于给定的知识库,将自然语言输入问题转化为对应的结构化语义表示。例如,给定问题“when wasBill Gates born?”,我们希望语义分析器能够输出正确的结构化语义表示“\lambdax.DateOfBirth(Bill Gates, x)”。在本次评测中,我们将提供一个大规模的开放领域语义分析数据集,用于训练语义分析器。最终评测所用的测试集不会公开标注,评测结果将由组织方进行测试并返回给参赛队伍。
组织单位:微软亚洲研究院
联系人:段楠 (nanduan@microsoft.com)
任务三:开放领域对话质量评测
任务描述:在各方努力下,自然语言对话技术已有一定的研究进展并得到广泛应用,但对话质量的评价随场景、目标的不同,仍有较大的差别和主观性。因此,我们设立了开放域对话质量评测任务,为人机对话系统的评价提供多维度的评价体系。参赛系统将由人工标注员评测,对话系统不但需要理解用户输入(不限于疑问句或陈述句),而且回答也需要通顺、合理、自然流畅。对回复的评价将从5个维度进行,在兼容对话主观性的前提下,尽量采用量化或明确标准减少分歧。我们还将提供真实对话数据集(中文),通过人工标注和测试,给出在不同维度上的质量评价,供参赛选手研究使用,以推动学术和应用的发展。
组织单位:薄言信息技术有限公司
联系人:单赢 (yshan@rsvp.ai)
2. 重要日期:
2019/03/15:评测任务发布;
2019/04/01:训练数据集发布;
2019/05/15:测试数据集发布;
2019/05/20:参赛队伍提交测试结果;
2019/05/30:评测结果公布&评测论文征集;
2019/06/30:评测论文投稿截止;
2019/07/30:录用结果公布;
2019/08/10:录用论文终稿上传截止;
2019/10/12~14:NLPCC 2019 主会议召开.
3. 参与方式:
请有意参赛的队伍填写报名表(http://tcci.ccf.org.cn/conference/2019/cfpt.php),并将填写后的表格通过邮件发送给报名表上提供的联系人。
4. 评测组织主席:
评测主席:
· 孙薇薇 (ws@pku.edu.cn)
· 段楠 (nanduan@microsoft.com)
更多详细信息请关注官网 (http://tcci.ccf.org.cn/conference/2019/cfpt.php)
这是一条镜像帖。来源:北邮人论坛 / ml-dm / #33654同步于 2019/4/2
该镜像源已超过 30 天没有更新,可能在源站已被删除。
ML_DM机器人发帖
【比赛】第八届CCF国际自然语言处理与中文计算会议(NLPCC 2019)
hlcjj
2019/4/2镜像同步2 回复
订阅后,新回复会通过你的通知中心匿名送达。