近期,中國(guó)科學(xué)院合肥物質(zhì)院智能所黃河研究員團(tuán)隊(duì)提出了一種基于神經(jīng)輻射場(chǎng)(NeRF)與Segment Anything Model 2(SAM2)融合的交互式無(wú)監(jiān)督植物快速表型提取框架IPENS,實(shí)現(xiàn)了對(duì)水稻和小麥等作物多器官的高精度三維點(diǎn)云提取,顯著提升了植物表型分析的效率與準(zhǔn)確性。該研究成果已正式發(fā)表于植物表型學(xué)領(lǐng)域知名期刊Plant Phenomics(中國(guó)科學(xué)院一區(qū)TOP期刊)上。
植物表型分析是現(xiàn)代智慧育種的核心技術(shù)之一。傳統(tǒng)方法依賴(lài)大量人工標(biāo)注數(shù)據(jù),成本高、周期長(zhǎng),且難以處理遮擋嚴(yán)重的小目標(biāo)(如稻穗、籽粒)。IPENS框架通過(guò)結(jié)合NeRF的高質(zhì)量三維重建能力與SAM2的強(qiáng)大視頻分割與傳播能力,實(shí)現(xiàn)了無(wú)需標(biāo)注、單輪交互、多目標(biāo)三維點(diǎn)云同步提取。該方法在水稻數(shù)據(jù)集上實(shí)現(xiàn)了籽粒、葉片和莖稈的mIoU達(dá)63.72%,籽粒體素體積預(yù)測(cè)R2為0.77,葉片面積預(yù)測(cè)R2為0.84,葉片長(zhǎng)寬R2約0.97和0.87;在小麥數(shù)據(jù)集上表現(xiàn)更為突出,mIoU達(dá)89.68%,穗部體積預(yù)測(cè)R2高達(dá)0.9956,葉片面積預(yù)測(cè)R2接近1.0,葉片長(zhǎng)寬R2約0.99和0.92。整個(gè)提取過(guò)程僅需3分鐘,極大提升了表型提取的時(shí)效性。IPENS框架還具備良好的跨物種能力,可適用于多種作物器官的提取任務(wù),為智慧育種提供了高效、低成本、非侵入式的表型數(shù)據(jù)獲取方案。
論文第一作者為智能所博士研究生宋文韜,指導(dǎo)老師為黃河研究員,通訊作者為孫友強(qiáng)副研究員。該研究得到了國(guó)家重點(diǎn)研發(fā)計(jì)劃和中國(guó)科學(xué)院戰(zhàn)略性先導(dǎo)科技計(jì)劃的資助。
論文鏈接:https://www.sciencedirect.com/science/article/pii/S2643651525001128
圖1 IPENS表型提取框架的總體技術(shù)路線
圖2 IPENS在多個(gè)作物上進(jìn)行三維重建的效果圖