8月8日-11日,青島碩索福特科技有限公司攜手德國TüV萊茵共同亮相ICVS中國智能汽車及自動駕駛博覽會,推出一站式人工智能可信度解決方案。
VERIFAI-M 是一款專門用于驗證AI模型可靠性的工具,它能夠測試模型的功能、性能、神經(jīng)元覆蓋率和質(zhì)量指標,并通過魯棒性驗證強化模型,提供改進指南。
通過敵對性數(shù)據(jù)生成進行變形測試評估
敵對性數(shù)據(jù)(Adversarial Data)通過微小的輸入變更引發(fā)AI模型產(chǎn)生錯誤,并驗證其輸出的正常性。
通過變形測試(Metamorphic Testing)定義特定輸入變更后的AI模型輸出關(guān)系,驗證模型是否始終符合這一關(guān)系。
通過白盒測試進行神經(jīng)元覆蓋率評估
通過特定數(shù)據(jù)集對AI模型進行測試,評估神經(jīng)網(wǎng)絡中被激活的神經(jīng)元占所有神經(jīng)元的比例,以確定測試的廣泛性和模型對多種輸入的響應能力。
通過度量標準進行性能評估
【Classification 性能指標】
AI模型在輸出分類任務預測結(jié)果時,根據(jù)ISO / IEC TS 4213標準,通常會評估15個性能指標。
【Regression 性能指標】
AI模型在輸出連續(xù)值形式的預測結(jié)果時,通常使用5個常見的性能度量指標進行測量。
VERIFAI-M 驗證輸入
Pytorch、 Keras 和 Tensorflow 等需要測定性能的目標模型格式數(shù)據(jù)。
將輸入的數(shù)據(jù),使用python預處理腳本,將模型的格式結(jié)構(gòu)化并輸入。
生成敵對數(shù)據(jù)與神經(jīng)元覆蓋率激活數(shù)據(jù)
從輸入數(shù)據(jù)生成的敵對性數(shù)據(jù),推論結(jié)果展示。
從輸入數(shù)據(jù)生成神經(jīng)元覆蓋率激活的數(shù)據(jù),推論結(jié)果展示。
提供度量指標測量結(jié)果
針對輸入數(shù)據(jù)、對抗性數(shù)據(jù)和神經(jīng)元覆蓋率激活數(shù)據(jù)度量。
可視化度量標準。
提供度量標準說明和解釋。
展會期間,青島碩索福特的技術(shù)團隊還在現(xiàn)場演示并講解了多款系統(tǒng)驗證工具及解決方案,包括PROV-ECU時序及資源使用量測量工具、FIT-故障注入自動化測試工具、DCAT-數(shù)據(jù)收集與自動分析工具、AUTOSIM-自動模擬驗證工具等。
青島碩索福特科技有限公司
成立于2017年,是韓國Suresoft Technologies Inc. 碩索福特株式會社(韓國科斯達克上市企業(yè))的在華全資子公司。公司在智能汽車軟件驗證自動化領(lǐng)域擁有世界領(lǐng)先技術(shù),并具備強大的產(chǎn)品開發(fā)和研發(fā)實力。公司專注于汽車領(lǐng)域軟件質(zhì)量改進、汽車國際標準培訓咨詢及評估服務,并為中國汽車主機廠和零部件供應商提供專業(yè)的軟件測試工具、軟件測試服務及符合國標標準要求的培訓、咨詢、評估服務。同時,公司始終秉持與時俱進的宗旨,在自動駕駛驗證測試、AI驗證測試咨詢及云計算大數(shù)據(jù)產(chǎn)業(yè)等業(yè)務板塊不斷探索深耕。
德國萊茵TüV集團
總部位于德國科隆,擁有超過150年的經(jīng)驗。德國萊茵TüV大中華區(qū)員工超過4000人,共有四大事業(yè)群:工業(yè)服務與信息安全、交通服務、產(chǎn)品服務及人員與業(yè)務保障服務。業(yè)務涉及商業(yè)活動和日常生活的所有重要領(lǐng)域,不僅包括能源行業(yè)和消費品行業(yè),還包括汽車行業(yè)、基本材料和投資產(chǎn)品、環(huán)保技術(shù)、貿(mào)易、建筑、航空、鐵路技術(shù)、IT行業(yè)、信息安全和數(shù)據(jù)保護以及教育和醫(yī)療行業(yè)。 TüV萊茵的安全專家,均為研發(fā)出身,憑借在安全領(lǐng)域的多年研發(fā)經(jīng)驗,對標準的精確理解,以及多年認證經(jīng)驗,獲得了行業(yè)內(nèi)的高度肯定和信任。TüV萊茵是最早在中國開展網(wǎng)絡安全和功能安全業(yè)務的國際第三方認證機構(gòu)之一,作為核心編委會成員參與了標準制定。
德國萊茵TüV向來以嚴謹高質(zhì)量的測試認證服務著稱,從公正獨立的角度提供各項專業(yè)評估,為當?shù)仄髽I(yè)提供符合安全、質(zhì)量以及環(huán)保的一站式解決方案。