OpenAI的医疗诊断准确率远超人类医生，准确率高达88.6%

最近一项研究带来了一个有点惊人的结论：OpenAI的o1-preview人工智能系统，在处理那些棘手的医疗病例时，表现可能比人类医生还要更胜一筹。

哈佛医学院和斯坦福大学的研究团队，对o1-preview进行了一系列全面的医疗诊断测试。结果显示，这个AI系统相比之前的版本，进步是实打实的。

具体数据上看，o1-preview正确诊断了78.3%的所有检查病例。而在70个特定病例的直接对比中，它的表现更突出，准确诊断率达到88.6%——这比它的前辈GPT-4的72.9%，高出了一大截。

在医疗推理这个维度上，o1-preview的表现更是亮眼。使用R-IDEA量表（一种专门评估医疗推理质量的标准测量方法）时，AI系统在80个病例中的78个里拿下了满分。做个对比就明白了：同样条件下，经验丰富的医生只在28个病例中拿到满分，而住院医生更是只有16个。

当然了，研究人员也承认，有些测试病例可能已经存在于o1-preview的训练数据里。不过，当他们用系统从未遇到过的新病例进行测试时，发现它的性能也只是略有下降，影响并不大。

在处理25位专家专门设计的复杂病例时，这个AI系统的表现尤其让人印象深刻。Rodman对此的评论很直白："人类医生看到这些病例，理所当然地会觉得困难。但o1的表现——你根本不用看数据，就能明显感受到它做得有多好。"

在这些棘手的病例中，o1-preview获得了86%的可能得分。这个数字是医生们在使用GPT-4（41%）或传统工具（34%）时，所获得分数的两倍还要多。

话说回来，这个系统也有它的短板。它在概率评估方面的表现并不理想，和旧模型相比，几乎没什么真正的改进。举个例子，在估计肺炎的可能性时，o1-preview给出的结论是70%——而科学上合理的范围其实是25-42%，差距很明显。

研究人员发现了一个值得注意的规律：虽然这个系统在需要批判性思维的任务上，比如诊断和推荐治疗手段，表现得相当出色，但在更抽象的挑战上，比如估算概率这种事儿，就显得力不从心了。

他们同时指出，o1-preview倾向于给出非常详细的回答，这在很大程度上拉高了它的得分。另外，这项研究关注的主要是o1-preview独立工作的场景，并没有探讨它和人类医生协作时，效果到底如何。

此后，OpenAI已经发布了完整的o1版本及其继任者o3。这些新版本在复杂推理任务上，性能提升非常显著——在那些需要深度分析思维的基准测试中，它们的能力已经远远超出了o1-preview。仔细想想，这才短短几个月，AI在临床诊断这条路上的进步速度，确实让人不得不留意。