PubMedQA

1. PubMedQA 是什么？

• 定义：PubMedQA 是一个 生物医学领域问答数据集，包含基于 PubMed 文献摘要的人工标注问答对，用于评估模型在医学文本理解与推理能力。
• 数据来源：从 PubMed 中提取研究论文摘要，人工生成问题并标注答案。
• 任务类型：支持 开放域问答（Open QA） 和 多项选择（Multiple-Choice QA） 两种模式。

2. 数据集结构与统计

3. 应用场景

• 模型评估：测试预训练模型（如 BioBERT、PubMedBERT）的医学知识理解能力。
• 研究热点：
  • 迁移学习：将通用领域模型（如 GPT-3）微调至医学 QA 任务。
  • 解释性 AI：分析模型如何结合医学文献上下文进行推理。
• 实际应用：辅助医学文献检索、临床决策支持系统开发。

4. 使用 PubMedQA 的步骤

步骤 1：获取数据集

• 官方渠道：通过 PubMedQA GitHub 下载（含问题、答案、摘要）。


步骤 2：选择任务类型

• 多项选择任务：使用 pqa_labeled 子集（答案标签为 Yes/No/Maybe）。
• 开放域问答：使用 pqa_unlabeled 子集（需生成自由文本答案）。

步骤 3：模型训练与评估

步骤 4：结果可视化

5. 性能排行榜与最新进展

• SOTA 模型（截至 2023）：
  • PubMedBERT (F1: 78.2) [论文]
  • GPT-4（医学微调版） (F1: 82.5) [技术报告]
• 挑战：处理答案中的不确定性（如 “Maybe”）和长文本推理。