近期,阿里巴巴达摩院完成了一项壮举——一名95后“实习生”在诸多科学家的指点下,打败了全球包括微软在内的其他公司选手,在常识QA领域的权威数据集CommonsenseQA上取得第1,并刷新了世界纪录。
CommonsenseQA是为了研究基于常识知识的问答而提出的数据集。之所以要推出这种数据集,是为了模仿人类的思考方式。当人们回答问题时,往往会利用自身了解的知识结合特定的背景。但现有算法往往只训练机器回答一些文章内容相关的问题,不需要一般知识背景。
CommonsenseQA正是为了训练机器像人类一样基于先验知识结合现实情况作答能力而设置的。此前有过SWAG、SQuAD数据集,但CommonsenseQA难度更高。目前最流行的语言模型BERT在SWAG、SQuAD上的性能已经接近或超过人类,但在CommonsenseQA上的准确率还远低于人类。
达摩院提出了一种叫AMS的方法,完善了BERT模型的常识推理能力,在不提升模型计算量的情况下,将CommonsenseQA数据集上的准确率提升了5.5%,达到62.2%。
最终,在达摩院科学家的帮助下,一名叫叶志秀的年轻人完成拿到CommonsenseQA第1,刷新世界纪录。