> 标注答案预测的位置问题

您好,
乱序杂糅等问题,虽然之前有回答过标签不影响结果,但是我们发现如果是乱序杂糅重复的问题用官方给出的转化脚本可能会导致预测的位置不一致。比如如下例子,句子改的结果是一样的,但是评估分数的时候会因为位置预测不一致导致分数降低:
pid=00280, 4, 冗余, 质量, , 9, 别字, 附, 付, 12, 缺失, , 质量,
pid=00280, 4, 乱序, 质量保证应附货物, 保证应付货物质量,
请问这种情况是要自己改位置信息,还是沿用官方给出的git的脚本生成提交结果呢?

Posted by: wufangzhou @ Aug. 23, 2021, 8:41 a.m.

你好,这个例子中涉及乱序和别字两种错误,决赛中会避免这种复杂情况,如果是乱序错误,应该以连续形式输出,可以先手动把“附”改为“付”再进行评测。
另外git上的转换脚本只是Baseline实现错误检测的一种方法,还有很多其他方法可以直接对错误位置进行检测,欢迎您多进行尝试。

Posted by: CTC_2021 @ Aug. 23, 2021, 9 a.m.
Post in this thread