阿里AI登顶GLUE榜单超越同场竞技

2020-03-03 17:54:10 DoNews

3月3日消息，在近日公布的全球自然语言处理领域顶级赛事GLUE Benchmark中，阿里巴巴达摩院以平均分90.3分的成绩夺冠，刷新自然语言理解技术世界纪录，超越同场竞技的Google、微软、Facebook、斯坦福大学等企业和高校团队。

自然语言理解是人工智能的核心技术之一，GLUE Benchmark(通用语言理解评估基准)比赛排名是衡量自然语言理解技术水平的重要指标。比赛设置了自然语言推断、语义相似度、问答匹配、情感分析等9项任务，最后按平均分综合排名。达摩院NLP团队取得了CoLA、MRPC、QQP、WNLI等4个任务的最佳效果，以平均分90.3分位列第一，显著超越人类水平(87.1分)。

早在2018年初，阿里AI就在机器阅读理解顶级赛事SQuAD中打破世界纪录，首次超越人类成绩;在2019年阿里AI也曾登顶GLUE榜单，并于2019年6月在常识QA领域的权威数据集CommonsenseQA中夺冠，还刷新了MS MARCO文本阅读理解挑战赛的纪录，在开放域问答任务上超越人类阅读水平。

Google于2018年底推出的BERT模型是业界广泛使用的自然语言预训练模型，达摩院NLP团队在BERT的基础上提出优化模型StructBERT，能让机器更好地掌握人类语法，加深对自然语言的理解。

使用StructBERT模型好比给机器内置一个“语法识别器”，使机器在面对语序错乱或不符合语法习惯的词句时，仍能准确理解并给出正确的表达和回应，大大提高机器对词语、句子以及语言整体的理解力。其相关成果论文已被国际人工智能领域顶级会议ICLR-2020收录。

据阿里介绍，这一技术已广泛使用于阿里旗下阿里小蜜、蚂蚁金服、优酷等业务。阿里达摩院的语言模型和阅读理解技术也被用于行业赋能，推进AI技术在医疗、电力、金融等行业的落地。(记者赵晋杰)