雷峰網(wǎng)(公眾號：雷峰網(wǎng)) 9月16日消息，夸克將其訓練健康大模型的醫(yī)師考試測試集悉數(shù)公開，這是國內(nèi)首個覆蓋全階段醫(yī)師考試的大模型測試集。

據(jù)了解，前不久夸克健康大模型成功通過中國 12 門核心學科的主任醫(yī)師筆試評測，并發(fā)布技術(shù)報告《QuarkMed Technical Report》，公開了“主任醫(yī)師級”能力技術(shù)實現(xiàn)細節(jié)。通過公開模型研發(fā)技術(shù)與醫(yī)師考試測試集，夸克旨在推動AI與醫(yī)療相融合的進一步發(fā)展。 

此前國內(nèi)一直缺少一款時效性高、覆蓋面全的醫(yī)師考試測試集?？淇吮敬喂_的醫(yī)師考試測試集覆蓋執(zhí)業(yè)醫(yī)師、主治醫(yī)師、副主任醫(yī)師、主任醫(yī)師全階段考試，精選普通內(nèi)科學、普通外科學、婦產(chǎn)科學、兒科學等12門核心學科，共計約7600道題，真題部分均取自2024年最新考試。

該測試集將不同測試等級有效梯度化。初級考試以單選題、記憶類題目為主，隨著考試級別升高，多選題、案例分析題比例隨之升高，對模型的推理能力也要求越高。梯度化的測試集能為模型測試提供更明確的標準，并能有效發(fā)現(xiàn)模型短板、推動模型優(yōu)化升級。

壹生檢康 CEO 王強宇表示，該測試集讓創(chuàng)業(yè)團隊少走很多彎路，豆蔻婦科大模型訓練過程中遇到的關(guān)鍵難題是如何評判模型性能，“MedBench這些通用醫(yī)療基準在婦科場景下適配性很差，無法準確衡量模型真實水平。有了夸克這套專業(yè)測試集，我們不用在基礎(chǔ)素材上耗費精力，能把更多資源投入到模型算法優(yōu)化、婦科場景深度適配這些核心工作上?！?/p>

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。