醫(yī)療器械法規(guī)、注冊、臨床、體系認證、信息系統(tǒng)一站式服務
24×7服務熱線:0571-86198618 簡體中文 ENGLISH
當前位置:網(wǎng)站首頁>新聞動態(tài) >人工智能醫(yī)療器械注冊產(chǎn)品設計開發(fā)檢查要點舉例
人工智能醫(yī)療器械注冊產(chǎn)品設計開發(fā)檢查要點舉例
發(fā)布日期:2024-04-16 14:38瀏覽次數(shù):444次
人工智能是近年科技及產(chǎn)業(yè)界最熱話題之一,人工智能的應用已經(jīng)滲透到生活的許多方面,人工智能醫(yī)療器械注冊產(chǎn)品也日益增多、日益成熟??紤]到人工智能醫(yī)療器械產(chǎn)品的新和特點,本文以示例方式為大家介紹人工智能醫(yī)療器械注冊產(chǎn)品設計開發(fā)檢查要點,一起看正文。

人工智能是近年科技及產(chǎn)業(yè)界最熱話題之一,人工智能的應用已經(jīng)滲透到生活的許多方面,人工智能醫(yī)療器械注冊產(chǎn)品也日益增多、日益成熟??紤]到人工智能醫(yī)療器械產(chǎn)品的新和特點,本文以示例方式為大家介紹人工智能醫(yī)療器械注冊產(chǎn)品設計開發(fā)檢查要點,一起看正文。

人工智能醫(yī)療器械注冊.jpg

人工智能醫(yī)療器械注冊產(chǎn)品設計開發(fā)檢查要點舉例

1.算法策劃

算法開發(fā)策劃階段,應對算法需求、數(shù)據(jù)收集、算法設計、驗證與確認、算法更新、風險管理、可追溯性分析等過程進行算法生命周期策劃,輸出《算法開發(fā)計劃書》。

2.算法需求

算法需求分析以用戶需求與風險為導向,結合產(chǎn)品的預期用途、使用場景、核心功能,綜合分析法律、法規(guī)、規(guī)章、標準、用戶、產(chǎn)品、功能、性能、接口、用戶界面、網(wǎng)絡安全、警示提示等需求,重點考慮數(shù)據(jù)收集、算法性能、使用限制等要求。輸出《算法需求規(guī)范》。

3.數(shù)據(jù)收集

3.1 數(shù)據(jù)入選、排除標準

在《算法需求規(guī)范》中明確算法數(shù)據(jù)入選、排除標準。

3.2 數(shù)據(jù)來源及質(zhì)控

數(shù)據(jù)收集應確保數(shù)據(jù)來源的合規(guī)性,數(shù)據(jù)質(zhì)控的充分性、有效性、準確性。

3.3數(shù)據(jù)采集

數(shù)據(jù)采集需考慮采集設備、采集過程、數(shù)據(jù)脫敏等質(zhì)控要求,并建立《數(shù)據(jù)采集操作規(guī)范》。

3.4數(shù)據(jù)整理

脫敏數(shù)據(jù)匯總形成原始數(shù)據(jù)庫,不同模態(tài)的數(shù)據(jù)在原始數(shù)據(jù)庫中需加以區(qū)分。數(shù)據(jù)整理基于原始數(shù)據(jù)庫考慮數(shù)據(jù)清洗、數(shù)據(jù)預處理的質(zhì)控要求。輸出《數(shù)據(jù)整理規(guī)范》,同時《數(shù)據(jù)整理規(guī)范》中需明確樣本類型、樣本量、樣品分布等信息,數(shù)據(jù)經(jīng)整理后形成基礎數(shù)據(jù)庫。

3.5 數(shù)據(jù)標注

3.5.1 數(shù)據(jù)標注前應建立《數(shù)據(jù)標注操作規(guī)范》,明確標注資源管理、標注過程質(zhì)控、標注質(zhì)量評估等要求。數(shù)據(jù)經(jīng)標注后形成標注數(shù)據(jù)庫。

3.5.2 數(shù)據(jù)標注可使用自動標注軟件,但自動標注結果不得直接使用,應由標注人員審核后方可使用;同時,自動標注軟件亦需明確名稱、型號規(guī)格、完整版本、制造商、運行環(huán)境等信息,并進行軟件確認。

3.6 數(shù)據(jù)集構建

3.6.1 基于標注數(shù)據(jù)庫構建訓練集、調(diào)優(yōu)集、測試集,明確訓練集、調(diào)優(yōu)集、測試集的劃分方法、劃分依據(jù)、數(shù)據(jù)分配比例,輸出《數(shù)據(jù)集構建標準》。

3.6.2 訓練集應當保證樣本分布具有均衡性,測試集、調(diào)優(yōu)集應當保證樣本分布符合臨床實際情況,訓練集、調(diào)優(yōu)集、測試集的樣本應當兩兩無交集并通過查重予以驗證。

3.6.3 為解決樣本分布不滿足預期的問題,可對訓練集、調(diào)優(yōu)集小樣本量數(shù)據(jù)進行擴增,原則上不得對測試集進行數(shù)據(jù)擴增,對抗測試除外。數(shù)據(jù)擴增需明確擴增的對象、方式(離線、在線)、方法(如翻轉、旋轉、鏡像、平移、縮放、濾波、生成對抗網(wǎng)絡等)、倍數(shù),擴增倍數(shù)過大應考慮數(shù)據(jù)偏倚的影響及風險。若采用生成對抗網(wǎng)絡進行數(shù)據(jù)擴增,需明確算法基本信息以及算法選用依據(jù)。

3.6.4 數(shù)據(jù)經(jīng)擴增后形成擴增數(shù)據(jù)庫,需列表對比擴增數(shù)據(jù)庫與標注數(shù)據(jù)庫在樣本量、樣本分布(注明擴增倍數(shù))等差異,以證實擴增數(shù)據(jù)庫樣本量的充分性以及樣本分布的合理性。

3.7 數(shù)據(jù)庫管理

3.7.1數(shù)據(jù)庫管理應遵循真實性、完整性、可用性、合規(guī)性、可追溯性、臨床代表性、時效性、安全性、準確性9大原則。

3.7.2應定期對邏輯數(shù)據(jù)庫的數(shù)據(jù)以及文件數(shù)據(jù)進行備份,備份文件保存在不同機架的機器磁盤上以提高備份的安全性。

3.7.3在整個數(shù)據(jù)轉移過程中,應當明確數(shù)據(jù)轉移方法、數(shù)據(jù)防污染措施以及數(shù)據(jù)銷毀方式。

4.算法設計

人工智能算法設計主要考慮算法選擇、算法目標設定分析、算法訓練、算法性能評估等要求,形成《算法設計說明書》。對于黑盒算法,算法設計應開展算法性能影響因素分析,同時與現(xiàn)有醫(yī)學知識建立關聯(lián),以提升算法可解釋性。

5.驗證與確認

算法訓練過程中,需要明確算法訓練環(huán)境,應當對算法進行性能評估,以確保選擇的算法準確、有效。算法驗證階段,明確算法性能評估環(huán)境,應完成算法性能指標評估、壓力測試、對抗測試,黑盒需要算法性能影響因素分析,輸出《算法性能評估報告》。

同時,開展算法性能比較分析,詳述各類測試場景(含臨床評價)算法性能變異度較大的原因,基于分析結果明確產(chǎn)品使用限制和必要警示提示信息,輸出《算法性能比較分析報告》。

最后,結合算法訓練、算法性能評估、臨床評價等結果開展算法性能綜合評價,針對訓練樣本量和測試樣本量過少、測試結果明顯低于算法設計目標、算法性能變異度過大等情況,對產(chǎn)品的適用范圍、使用場景、核心功能進行必要限制。輸出《算法性能綜合評價報告》。

6.算法風險管理

人工智能醫(yī)療器械的軟件安全性級別可基于產(chǎn)品的預期用途、使用場景、核心功能進行綜合判定,并開展風險管理活動,采取有效的風險控制措施將風險降至可接受水平,并貫穿于人工智能醫(yī)療器械全生命周期過程。

人工智能醫(yī)療器械的主要風險從算法角度包括過擬合和欠擬合。從用途角度,輔助決策主要包括假陰性和假陽性,其中假陰性即漏診,可能導致后續(xù)診療活動延誤,特別是要考慮快速進展疾病的診療活動延誤風險,而假陽性即誤診,可能導致后續(xù)不必要的診療活動;非輔助決策從算法設計目標能否得以實現(xiàn)角度,亦可參考輔助決策分為假陰性和假陽性。應輸出《風險管理報告》,明確過擬合與欠擬合、假陰性與假陽性、數(shù)據(jù)擴增與數(shù)據(jù)偏倚等風險的控制措施。

7.算法可追溯性分析

醫(yī)療器械全生命周期管理中,應實現(xiàn)算法的可追溯性,并形成算法可追溯性分析報告等相關文件及記錄,即追溯算法需求、算法設計、算法實現(xiàn)、算法驗證與確認、風險管理、數(shù)據(jù)集的管理。

在數(shù)據(jù)收集過程中,數(shù)據(jù)采集、數(shù)據(jù)整理、數(shù)據(jù)標注、數(shù)據(jù)集構建過程中形成《數(shù)據(jù)脫敏交接記錄》《數(shù)據(jù)清洗記錄》《數(shù)據(jù)標注記錄》《數(shù)據(jù)審核記錄》《數(shù)據(jù)仲裁記錄》《數(shù)據(jù)集構建記錄》,以上記錄均由操作人員簽字確認。

數(shù)據(jù)集管理過程中,每一例數(shù)據(jù)都可追溯到唯一識別號、脫敏人員、清洗人員、標注人員、審核人員、仲裁人員、入庫人員,保證了數(shù)據(jù)收集各環(huán)節(jié)的數(shù)據(jù)和操作人員的可追溯。

8.算法更新控制

人工智能醫(yī)療器械若發(fā)生算法更新、軟件更新,均應當按照質(zhì)量管理體系的要求,開展與算法更新、軟件更新的類型、內(nèi)容和程度相適宜的驗證與確認活動,將風險管理、可追溯分析貫穿于更新全程,形成記錄以供體系核查。

對于算法更新,無論算法驅動型更新還是數(shù)據(jù)驅動型更新,均應開展算法性能評估、臨床評價等驗證與確認活動,以保證算法更新的安全有效性。對于軟件更新,具體要求詳見醫(yī)療器械軟件指導原則、醫(yī)療器械獨立軟件生產(chǎn)質(zhì)量現(xiàn)場檢查指導原則。

人工智能醫(yī)療器械所含的每個人工智能算法,均應獨立開展需求分析、數(shù)據(jù)收集、算法設計、驗證與確認、更新控制等活動,同時考慮人工智能算法組合的整體評價要求,以保證產(chǎn)品的安全有效性。

若有人工智能醫(yī)療器械注冊咨詢服務需求,歡迎您隨時方便與杭州證標客醫(yī)藥技術咨詢有限公司聯(lián)絡,聯(lián)系人:葉工,電話:18058734169,微信同。

Copyright © 2018 醫(yī)療器械注冊技術咨詢 浙ICP備18025678號 技術支持:熙和網(wǎng)絡