结构化预测结果格式说明.md

结构化预测结果格式说明

我们现在对评测参与者需要提交的结构化预测结果results.json文件进行详细的说明。results.json文件整体可以采用json.load()方法加载。其内部结构如下：

{
  "task_name1": [
    {
      "sample_id": str,
      "answer": answer_sample,
    }
  ],
  "task_name2": [
    {
      "sample_id": str,
      "answer": answer_sample,
    }
  ],
  "task_name3": [
    {
      "sample_id": str,
      "answer": answer_sample,
    }
  ],
}

其中answer_sample的格式因任务不同而格式各异。task_name1, task_name2,... 的取值为['CMeEE-V2', 'CMeIE', 'CHIP-CDN', 'CHIP-CDEE', 'CHIP-STS', 'CHIP-CTC', 'CHIP-MDCFNPC', 'KUAKE-IR', 'KUAKE-QIC', 'KUAKE-QQR', 'KUAKE-QTR', 'MedDG', 'IMCS-V2-MRG', 'IMCS-V2-NER', 'IMCS-V2-DAC', 'IMCS-V2-SR']。

评测参与队伍可以参考dev.json和 dev_structured.json文件来理解由LLM输出到评测规定的结构化格式的转化。

我们现在分各个任务说明answer_sample的格式。

CMeEE-V2任务

answer_sample为list，list中每个元素包含两个字段: entity 和 type。entity是文本中的医学实体mention，type为样本提示/指令中规定的医学实体类型名称。

answer_sample = [
  {
    "entity": str,
    "type": str
  }
]

CMeIE任务

answer_sample为list，list中每个元素包含三个字段: subject是头实体提及，object是尾实体提及，predicate是样本提示/指令中规定的实体间关系类型名称。

answer_sample = [
  {
    "predicate": str,
    "subject": str,
    "object": str
  }
]

CHIP-CDEE任务

answer_sample为list，list中每个元素包含四个字段: 医学临床事件的主体词字段，发生状态字段，描述词， 解剖部位字段。主体词字段和发生状态字段都是字符串。描述词， 解剖部位字段，都是非空字符串的列表。

answer_sample = [
  {
      "主体词": str,
      "发生状态": str,
      "描述词": [
        str
      ],
      "解剖部位": [
        str
      ]
    }
]

CHIP-CDN任务

answer_sample为list，list中每个元素包含两个字段: entity为ICD标准词库中的词条，"type"字段取值固定为"normalization"。

answer_sample = [
  {
      "entity": str,
      "type": "normalization"
    }
]

分类型任务

对CHIP-CTC任务，KUAKE-QIC，IMCS-V2-DAC任务，answer_sample为str，取值为: 样本提示/指令中规定的分类类型名称，或者是"非上述类型"。

answer_sample = str

文本对任务

对CHIP-STS任务，KUAKE-QTR，KUAKE-QQR，KUAKE-IR任务， answer_sample为str，取值为: 样本提示/指令中规定的类型标签名称。

answer_sample = str

CHIP-MDCFNPC任务

answer_sample为list，list中每个元素包含两个字段: entity为对话中的症状词，"attr"字段取值必须是: 样本提示/指令中规定的属性类型标签名称。

answer_sample = [
  {
      "entity": str,
      "attr": str
    }
]

IMCS-V2-NER任务

answer_sample为list，list中每个元素包含两个字段: entity 和 type。entity是文本中的医学实体mention，type为样本提示/指令中规定的医学实体类型名称。

answer_sample = [
  {
    "entity": str,
    "type": str
  }
]

IMCS-V2-SR任务

answer_sample为list，list中每个元素包含两个字段: entity为对话中的症状词，"attr"字段取值必须是: 样本提示/指令中规定的属性类型标签名称。

answer_sample = [
  {
      "entity": str,
      "attr": str
    }
]

IMCS-V2-MRG任务

answer_sample为str，取值为: 模型生成的诊断报告。

answer_sample = str

MedDG任务

answer_sample为str，取值为: 模型生成的对话回复。

answer_sample = str