目前人工智能类医疗软件临床试验在中国许多地方开展,适应症广泛,获批的产品也在不断的增加,以眼底病变产品为例获批的产品就有:糖尿病视网膜病变辅助诊断类产品、慢性青光眼视神经眼底病变辅助诊断产品以及多病种(视网膜黄斑变性等产品)类。
目前视网膜病变方向人工智能医疗软件类主要开展的临床试验情况如下:
适应症 |
病例数 |
数据库类型 |
试验设计 |
试验分组 |
主要评价指标 |
黄斑变性 |
50000 |
OCT图像 |
诊断试验 |
金标准组:临床结局或视网膜成像检查包括OCT、眼底照相和眼底荧光素血管造影 试验组:OCT深度学习技术 |
灵敏度(SEN)、特异度(SPE)、准确度(ACC) |
糖尿病视网膜病变 |
总例数:1000例 |
眼底图像 |
诊断试验 |
金标准组:中心阅片阅读彩色眼底图片 试验组:AI |
灵敏度 特异度 阳性符合率 |
糖尿病视网膜病变 |
总例数:1400例 |
眼底图像 |
诊断试验 |
金标准组:3位15-20年眼底医师无时间限制,一致性评分≥2 试验组:初级眼科医师+AI |
SEN、FPE、ACC、AUC for ROC |
糖尿病视网膜病变 |
1000例 |
眼底图像 |
诊断试验 |
金标准组:3位具有10年以上诊断经验的眼底病医师根据标准7视野眼底照相结果得出的一致性诊断结论,一致性≧2. 试验组:AI |
敏感性、特异性、ROC曲线下的面积 |
早产儿视网膜病变 |
1000例
|
眼底图像 |
诊断试验 |
金标准:专家应用双目间接眼底镜,或借助RetCam拍摄的实时诊断结果做为金标准。 试验组:AI |
淋巴结个数的一致率 |
注:以上信息来自于中国临床试验注册中心
除上述在研的临床试验外,已经批准的创新医疗器械还包括慢性青光眼样视神经病变眼底图像辅助诊断软件的临床试验,该设计针对产品的特性,考虑到该产品前期预实验的灵敏度较高,特异度较低,试验采用优效对照试验设计对产品青光眼样眼底改变检出眼底照片水平及受试者水平敏感性进行临床验证,采用非劣效对照试验设计对产品青光眼样眼底改变检出眼底照片水平及受试者水平特异性进行临床验证来综合验证辅助诊断产品的有效性及特异性。
主要评价指标设为青光眼样眼底改变检出的敏感性、特异性,次要评价指标为青光眼样眼底改变检出诊断符合率、假阳性率、 假阴性率、阳性预测值、阴性预测值、阳性似然比、阴性似然 比和平衡 F1 分数,安全性评价指标为不良事件发生率。
人工智能医疗软件临床试验设计要素:根据《深度学习辅助决策医疗器械软件审评要点》人工智能医疗软件类设计方法总结为以下几类,可以根据产品的不同特点以及训练集和测试集的情况进行灵活选择,具体见下图。
人工智能类医疗软件临床试验由于其产品特殊性,在临床试验设计过程需要考虑多方面因素,不同的方法样本量差异较大,因此需综合考虑产品特性及临床试验特点,如通过MRMC设计可减少样本量,但是需要多位高年资医生参与阅片。