如何合理判断黑箱？

dailulu

现代医学讲究经验与证据，是一种强调“循证”的生物科学。诊疗活动中的检查诊断流程是一套基于现象与结果之间因果关系的经验演绎，采取的诊断与治疗措施依据的也都是此前长期反复的临床经验总结。与此相对，诊疗人工智能所使用的深度学习算法本质上是一套基于统计学的数学模型，输入层与输出层更多的是基于某种概率相关性，而非因果关系。算法能够通过处理海量数据来提炼某种相关性，进而确诊特定的疾病与提供治疗方案，但这一决策过程并非基于医务人员都充分理解、充分验证以及得到广泛证据支持的生物学关系（biological relationship）。

        这意味着诊疗人工智能可以给出精准的机器判断，但却无法解释这些判断是如何作出的，医务人员只能基于观察数据（observational  data）而非临床试验（clinical experiment）来验证这些判断。这种不透明或缺乏解释性并非人为故意制造的，绝大多数是算法自身技术逻辑固有的属性，是算法处理海量数据必然具有的复杂架构。对此，《深度学习辅助决策医疗器械软件审评要点》明确提到，“从发展驱动要素角度讲，深度学习实为基于海量数据和高算力的黑盒算法”。

        诊疗人工智能的黑箱属性，不仅会影响医务人员向患者履行告知义务，也会影响医务人员履行再判断义务。第一，医务人员无法理解算法的决策机制，不能对机器判断进行直接验证，也就无法采取适当的步骤来降低可能的风险。间接验证的办法是医务人员以机器判断为线索作出自己的判断，再将之与机器判断进行比对。这种做法可以帮助医务人员节省时间，但也存在局限。具言之，机器判断存在假阳性与假阴性的问题，即误诊与漏诊。以肺结节 CT 影像辅助检测软件为例，对于误诊的情形，如系统误将血管标注为肺结节，医务人员可以通过针对性的独立判断进行排除。但如果是漏诊问题，医务人员就没有办法进行精准比对，必须要重新对动辄上百张的影像资料进行全面审查才能做到万无一失。由于漏诊概率的客观存在，医务人员的全面审查义务似乎无法免除。第二， 由于算法决策更多是基于数据相关性，医务人员在许多情形下并不能基于循证医学知识 进行反推得出结论，完成比对。例如，算法发现某种药物对于治疗有吸烟习惯且同时患有抑郁狂躁型忧郁症（bipolar disorder）的中年妇女非常有效，从而推荐了这种药物，对此，医务人员是无法进行反推和验证的。

       医生如何合理判断情况，克服黑箱医疗

        医疗的黑箱属性并非诊疗人工智能所独有。医学本身就充满不可知性，且我们已经接受了医学中的种种黑箱。例如，电休克疗法对重度抑郁症非常有效，但我们并不知道它是如何起作用的；许多药物在无人能够作出解释的情况下似乎非常有效。尽管诊疗人工智能存在算法黑箱，但医务人员仍然可以综合各方情况作出最佳判断。事实上，合理医生标准并不要求医务人员全知全能，只要求其在既有情况下尽到一位理性医生应当尽到的注意义务，其注重的是诊疗过程而非诊疗结果。从合理医生标准出发， 医务人员在克服黑箱医疗方面可以遵循如下规则：

        1、依靠医务人员的专业知识进行直接验证。实践中，诊疗人工智能多适用于常见病、多发病，机器判断基本在常规医学知识范围内，可以依靠医务人员的专业知识进行直接验证。例如，面对肺结节CT影像辅助检测软件标注的信息，包括每个肺结节的大小、 位置、体积、密度、实性比例以及恶性概率等，医务人员完全可以在机器判断的提示下进行验证。对于误诊情形，如系统误将血管标注为肺节结，或者对标注的肺结节恶性概率估算错误，此时由于系统已经明确标注出了可疑肺结节的位置、恶性概率等信息，医务人员有义务对每一项机器判断进行逐一验证。而对于漏诊情形，如原本恶性概率的肺结节没有被系统标注，理论上唯一的补救办法就是要求医务人员对全部影像进行重新审查，但如此一来，诊疗人工智能的辅助作用将大打折扣。基于此，合理医生标准应当允许医务人员通过信任质量可靠的诊疗人工智能适当减轻查漏补缺的义务，提高诊疗效率。

        2、围绕诊疗人工智能的产品性能进行间接验证。除依靠专业知识进行直接验证 外，医务人员还可以围绕诊疗人工智能的产品性能进行间接验证。对此，可以从两个方 面综合考虑：

        ①算法成熟度。《人工智能医用软件产品分类界定指导原则》提到，要结合产品的预期用途、算法成熟度等综合判定人工智能医用软件产品的管理类别。对于未上市或安全有效性尚未得到充分证实的、算法成熟度低的诊疗人工智能，需按照第三类医疗器械管理，此时医务人员采纳机器判断的注意义务应更高。反之，如果是安全有效性得到充分证实的、算法应用成熟度高的诊疗人工智能，那么机器判断的可信度就更高。

        ②数据质量。诊疗人工智能的良好运行高度依赖高质量的数据。对此，医务人员可以通过核查数据质量来间接验证。若输入的病历、影像等医疗数据本身存在不准确、不清晰、不全面等瑕疵，那么不可能输出高质量的机器判断，此时医务人员应当谨慎采纳。

        冬青云诊所管理系统 永久免费使用诊所软件