及早發(fā)現(xiàn)具有重要經(jīng)濟(jì)價(jià)值的植物的病害，如灰霉病菌引起的灰霉病，對(duì)于及時(shí)應(yīng)用病害管理策略和減少對(duì)作物生產(chǎn)和環(huán)境的影響至關(guān)重要。本研究在受控環(huán)境下對(duì)黃瓜植株葉片進(jìn)行了人工接種。利用多光譜成像技術(shù)，在 460、540、640、700、775 和 875 納米波段，同時(shí)利用 RGB 和近紅外（NIR）通道，捕捉真菌的光譜響應(yīng)。從收集到的多光譜圖像中創(chuàng)建了兩個(gè)注釋圖像數(shù)據(jù)集，分別命名為 "Botrytis-detection "和 "Botrytis-classification"。在這兩個(gè)數(shù)據(jù)集上進(jìn)行了多項(xiàng)基于深度學(xué)習(xí)的分類和物體檢測(cè)實(shí)驗(yàn)。分類結(jié)果表明，深度學(xué)習(xí)模型能以 0.93 的準(zhǔn)確率（F1 分?jǐn)?shù) 0.89）將兩個(gè)類別區(qū)分開來。而物體檢測(cè)的平均精度（mAP50）為 0.88，為今后在早期檢測(cè)出灰霉病菌引起的灰霉病鋪平了道路。

1.       說明

1.1.   病害

灰霉病菌（Botrytis cinerea）是一種壞死性真菌病原體，可感染 500 多種植物。這種病原體對(duì)農(nóng)業(yè)部門產(chǎn)生了巨大的經(jīng)濟(jì)影響，每年給全球作物生產(chǎn)造成 100 多億美元的損失。由于巨大的經(jīng)濟(jì)影響力以及頻繁防治導(dǎo)致的環(huán)境影響，灰霉病菌被列為第二大植物病原體?；颐共【且环N通過空氣傳播的植物病原體，但它也可以通過水或土壤傳播。低溫、高濕度、空氣流通差和樹冠潮濕有利于灰霉病菌的感染。由于這些條件主要存在于受保護(hù)的環(huán)境中，因此溫室中種植的作物比露天種植的作物感染的病害更嚴(yán)重?；颐共〉陌Y狀出現(xiàn)在植物的花、葉、莖和果實(shí)上，影響作物的生長(zhǎng)和產(chǎn)量。由于灰霉病菌引起的癥狀與其他生物或非生物制劑引起的癥狀相似，因此僅憑目測(cè)癥狀無法檢測(cè)和識(shí)別病原體，除非這些癥狀上出現(xiàn)真菌跡象（分生孢子梗和分生孢子）。一旦肉眼觀察到灰霉病的癥狀（病斑、枯萎、腐爛和萎蔫），就可以主要使用傳統(tǒng)的化學(xué)殺菌劑來控制灰霉病。由于早期癥狀更可能是非特異性的，而且變化很大，因此要確定可能的感染，應(yīng)在目視檢查后進(jìn)行實(shí)驗(yàn)室檢測(cè)，如分離和培養(yǎng)酶聯(lián)免疫吸附試驗(yàn)（ELISA）、聚合酶鏈反應(yīng)（PCR）和組織印跡分析等。然而，上述方法耗時(shí)耗力，成本也高。因此，必須及早發(fā)現(xiàn)灰霉病，以限制其蔓延，減少園藝中化學(xué)殺蟲劑和有害殺蟲劑的總體使用量。

1.2.   光譜成像技術(shù)

事實(shí)證明，光譜成像是一種創(chuàng)新技術(shù)，在表型分析和非侵入式感知作物生理狀態(tài)方面潛力巨大，有助于植物病害檢測(cè)。最近的一項(xiàng)研究表明，近紅外光譜是區(qū)分受感染的葉片區(qū)域最有參考價(jià)值的光譜范圍。

1.3.   文獻(xiàn)綜述

近年來，機(jī)器學(xué)習(xí)和深度學(xué)習(xí)方法在植物真菌病害的檢測(cè)中得到了廣泛應(yīng)用，提供了一種具有高精確度結(jié)果的強(qiáng)大工具。Sanchez 等人（2020 年）使用 K 近鄰算法、支持向量機(jī)、隨機(jī)森林和人工神經(jīng)網(wǎng)絡(luò)等機(jī)器學(xué)習(xí)技術(shù)，以及高斯濾波器和形態(tài)學(xué)運(yùn)算來提取圖像特征，從而對(duì)石榴的灰霉病進(jìn)行識(shí)別和分類。結(jié)果顯示，擬議方法的準(zhǔn)確率為 96%。Qasrawi 等人（2021 年）對(duì)機(jī)器學(xué)習(xí)模型進(jìn)行了訓(xùn)練，以對(duì)番茄植物病害（包括 B.cinerea）進(jìn)行聚類、預(yù)測(cè)和分類，神經(jīng)網(wǎng)絡(luò)和邏輯回歸模型的準(zhǔn)確率分別達(dá)到了 70.3% 和 68.9%。Jung 等人（2022 年）的研究使用了接種了灰霉病菌的草莓葉片的高光譜圖像（150 個(gè)波段），并利用二維和三維卷積神經(jīng)網(wǎng)絡(luò) (CNN) 將其分為感染區(qū)、無癥狀區(qū)和健康區(qū)，準(zhǔn)確率分別為 74% 和 84%。

盡管已對(duì)許多蔬菜作物上的黑穗病所引起的癥狀進(jìn)行了研究，但在利用深度學(xué)習(xí)結(jié)合光譜成像檢測(cè)黃瓜植株上的黑穗病所引起的早期癥狀方面還缺乏研究。不過，上述植物在其他真菌病害方面的研究也取得了可喜的成果。Fernandez 等人（2021 年）利用黃瓜植株上的多光譜圖像檢測(cè)白粉?。≒odosphaera xanthii）。Mia 等人（2021 年） 對(duì)感染了多種病害（霜霉病、白粉病、馬賽克病毒、腹腐病、瘡痂病和棉花漏）的黃瓜植株使用了傳統(tǒng)的 RGB 成像技術(shù)，深度學(xué)習(xí)的準(zhǔn)確率達(dá)到了 93.23%。

1.4.   貢獻(xiàn)

在本研究中，我們旨在利用深度學(xué)習(xí)模型研究多光譜成像在檢測(cè)黃瓜植株中的灰霉病方面的實(shí)用性。本文有三方面的貢獻(xiàn)，目的是：i) 建立一個(gè)多光譜圖像數(shù)據(jù)集，用于檢測(cè)（邊界框）灰霉病感染植物和健康植物的葉片并進(jìn)行分類，以作為訓(xùn)練和標(biāo)桿；ii) 進(jìn)行灰霉病的檢測(cè)和分類實(shí)驗(yàn)，并提出最合適的方法；iii) 檢驗(yàn)近紅外光譜對(duì)灰霉病識(shí)別的有用性，并確定可用光譜中最有影響力的波段。本文結(jié)構(gòu)如下。第 2 節(jié)介紹了數(shù)據(jù)集的獲取、標(biāo)記和圖像統(tǒng)計(jì)。第 3 節(jié)介紹實(shí)驗(yàn)結(jié)果。第 4 節(jié)為研究結(jié)論。

2.       數(shù)據(jù)集

2.1.   實(shí)驗(yàn)設(shè)置

為了收集數(shù)據(jù)，對(duì)健康的黃瓜植株進(jìn)行了灰霉病人工接種。本實(shí)驗(yàn)使用了在馬鈴薯葡萄糖瓊脂上常規(guī)培養(yǎng)的灰霉病菌分離株。植物病原真菌的接種物來自在 23°C 生長(zhǎng) 3 周的培養(yǎng)物。為了制備接種體，使用滅菌菌環(huán)從孢子培養(yǎng)物中獲取孢子，并將其懸浮在 5 毫升添加了葡萄糖（4% w/v）的去離子水中。然后用消毒紗布過濾懸浮液以去除菌絲，并用血細(xì)胞計(jì)數(shù)器測(cè)量孢子濃度。將孢子懸浮液稀釋至1*10⁵個(gè)孢子/毫升的濃度。

四株黃瓜盆栽播種后在植物生長(zhǎng)室的可控條件下生長(zhǎng)（25°C，68% 濕度，16 小時(shí)光照—8 小時(shí)黑暗，光源：GRO-LUX LED 全光譜燈）并進(jìn)行人工接種，另外四株相同的黃瓜盆栽作為對(duì)照樣本。在每株植物的兩片葉子上，用無菌吸管尖劃傷表皮，產(chǎn)生兩個(gè)直徑約 0.5 厘米的表皮病變。隨后，在每個(gè)病變體上滴兩滴液體接種體（每滴 10 微升）。接種后的植物用黑色塑料袋覆蓋，以保持濕度，為真菌感染提供理想的條件。

2.2.   數(shù)據(jù)采集

對(duì)于蔬菜作物來說，成像信息量最大的波長(zhǎng)范圍是可見光范圍（紅、綠、藍(lán)：RGB）和近紅外（NIR）范圍。顯然，RGB 波段（400-700 納米）能更好地捕捉葉片色素的變化，而近紅外波段（700-1300 納米）則能反映葉肉細(xì)胞結(jié)構(gòu)的變化。為了捕捉多光譜圖像，我們使用了MUSES9-MS相機(jī)，調(diào)諧波長(zhǎng)為460、540、640、700、775和875nm，包括可見光譜和近紅外光譜，分辨率為3096×2080像素。 

數(shù)據(jù)采集從人工接種后（時(shí)間點(diǎn) 0）開始，連續(xù)進(jìn)行五天。接種后 72 小時(shí)，農(nóng)藝師目測(cè)接種葉片上的真菌感染癥狀。多光譜成像技術(shù)用于捕捉灰霉病的早期癥狀。第一張圖片是在接種灰霉病菌的當(dāng)天拍攝的，隨后連續(xù)五天在 12:00 時(shí)，在人工和自然光下重復(fù)拍攝。目的是獲得多光譜照相機(jī)能檢測(cè)到但肉眼難以發(fā)現(xiàn)的真菌早期癥狀的數(shù)據(jù)。圖1和圖2顯示了各個(gè)光譜的示例。拍攝到的圖像包括單株植物，清晰地描繪了它們的所有葉片。此外，還采集了植物群的圖像，以模擬現(xiàn)實(shí)條件。這樣，就可以模擬實(shí)地條件，從而使結(jié)果可以在實(shí)驗(yàn)室條件之外使用。

圖1：黃瓜植株接種 4 天后的六個(gè)不同光譜波段（460、540、640、700、775、875）以及邊界框注釋。

綠色：健康葉片，紫色：灰霉病葉片。

圖2：灰霉病菌分類數(shù)據(jù)集中感染灰霉病菌 4 天后的黃瓜葉片的六個(gè)不同光譜帶（460、540、640、700、775 和 875）。

2.3.   數(shù)據(jù)注釋

收集到的 121 幅圖像（98幅有癥狀的植物圖像和 23幅健康植物圖像）已用方框標(biāo)注，方框內(nèi)的葉片分為兩類：感染灰霉病的葉片和作為對(duì)照的健康葉片。為此，我們使用了基于 YOLOv5 實(shí)現(xiàn)的自定義葉片檢測(cè)器，并在 PlantDoc 數(shù)據(jù)集上進(jìn)行了訓(xùn)練。自定義樹葉檢測(cè)器對(duì)收集到的圖像中的大部分樹葉進(jìn)行了標(biāo)注。之后，農(nóng)學(xué)家通過添加缺失的邊界框和完善現(xiàn)有的邊界框來修改注釋。此外，農(nóng)藝師還為每片標(biāo)注的葉片貼上正確的標(biāo)簽：感染或健康的葉片。由此產(chǎn)生的邊界框以及隨后的葉片數(shù)量為 580 片；138 片感染了 B. cinerea 的葉片和 442 片健康葉片（來自接種和未接種的植物）。

2.4.   創(chuàng)建數(shù)據(jù)集

根據(jù)收集到的多光譜圖像創(chuàng)建了兩個(gè)數(shù)據(jù)集。第一個(gè)數(shù)據(jù)集是灰霉病檢測(cè)數(shù)據(jù)集，包括邊界框注釋，對(duì)應(yīng)于健康葉片和受灰霉病感染葉片的檢測(cè)（見圖 1）。第二種是灰霉病分類，相當(dāng)于將葉片分為兩類：感染了灰霉病的葉片和健康的葉片（見圖 2）。后者是通過裁剪前者的每個(gè)邊框并將其保存為單獨(dú)圖像而生成的。這兩個(gè)數(shù)據(jù)集都分為訓(xùn)練-測(cè)試兩部分，其中測(cè)試集由包含一種特定受感染黃瓜植物的所有圖像組成。這一選擇是為了訓(xùn)練出盡可能無偏的模型，使其能夠泛化到未見過的數(shù)據(jù)中。表1列出了兩個(gè)數(shù)據(jù)集中的圖像數(shù)量，其中還報(bào)告了感染灰霉病的葉片和健康葉片的數(shù)量。最后兩列表示每個(gè)類別中邊界框的數(shù)量和裁剪圖像的數(shù)量。

表1：灰霉病檢測(cè)數(shù)據(jù)集和灰霉病分類數(shù)據(jù)集的各分集圖數(shù)量

3.       實(shí)驗(yàn)評(píng)估

3.1.   標(biāo)桿實(shí)驗(yàn)

為了全面評(píng)估創(chuàng)建的灰霉病數(shù)據(jù)集，首先利用 CNN 評(píng)估了灰霉病分類數(shù)據(jù)集的分類性能。隨后，在帶有邊界框注釋的灰霉病檢測(cè)數(shù)據(jù)集中對(duì)最先進(jìn)的物體檢測(cè)模型進(jìn)行了評(píng)估。分類實(shí)驗(yàn)的目的是確定哪種波長(zhǎng)組合最有信息量，以便利用從分類實(shí)驗(yàn)中提取的知識(shí)進(jìn)一步開展重點(diǎn)檢測(cè)實(shí)驗(yàn)。

3.2.   評(píng)估標(biāo)準(zhǔn)

在分類任務(wù)中，F(xiàn)1 分?jǐn)?shù)是比較模型結(jié)果的主要指標(biāo)。為深入了解情況，還報(bào)告了準(zhǔn)確率、回歸率和精確率。準(zhǔn)確度通常描述了模型在所有類別中的表現(xiàn)。精確度衡量模型僅識(shí)別相關(guān)對(duì)象的能力，而回歸率衡量模型找到所有相關(guān)情況（所有地面真實(shí)邊界框）的能力。F1 分?jǐn)?shù)綜合了精確度和回歸率兩個(gè)指標(biāo)，因此更加全面。

至于物體檢測(cè)任務(wù)，則采用了 COCO 檢測(cè)指標(biāo)，這是一種更為全面和通用的檢測(cè)指標(biāo)。使用的度量指標(biāo)包括：，

3.3.   數(shù)據(jù)增強(qiáng)

根據(jù) Krizhevsky 等人（2012 年）的研究，當(dāng)數(shù)據(jù)集中的圖像數(shù)量不足時(shí)，有必要進(jìn)行數(shù)據(jù)擴(kuò)增，以便模型能更好地泛化。我們使用了幾種技術(shù)，人為地?cái)U(kuò)大了所創(chuàng)建數(shù)據(jù)集中的圖像數(shù)量。就灰霉病分類數(shù)據(jù)集而言，這些技術(shù)包括幾何變換（水平翻轉(zhuǎn)、縮放、平移）。此外，在灰霉病數(shù)據(jù)集中還使用了馬賽克增強(qiáng)技術(shù)，該技術(shù)可在遮擋（物體隱藏在另一個(gè)物體后面）或平移的情況下改進(jìn)模型。這些技術(shù)只用于訓(xùn)練，而不用于評(píng)估。

3.4.   分類結(jié)果

在分類任務(wù)中，使用了多個(gè)深度學(xué)習(xí)分類模型，包括 這些模型包括：AlexNet、DenseNet-121、EfficientNet B0 和 B1、GoogLeNet、MobileNet v3 small、ResNet-18、ResNet-34 和 ResNet-50、VGG-11 和 VGG-11 with Batch Normalization (BN)。目標(biāo)是為每種波長(zhǎng)組合找到最佳架構(gòu)。

所有網(wǎng)絡(luò)都在 ImageNet 上進(jìn)行了預(yù)訓(xùn)練，并在灰霉病分類數(shù)據(jù)集上進(jìn)行了微調(diào)。每個(gè)模型的所有層都通過隨機(jī)梯度下降優(yōu)化器（Stochastic Gradient Descent optimizer）進(jìn)行了微調(diào)，批量大小為16，歷時(shí)100次。權(quán)重衰減和動(dòng)量參數(shù)分別設(shè)置為0.0001和0.9。輸入圖像的大小固定為224×224。分類實(shí)驗(yàn)使用PyTorch實(shí)現(xiàn)，并在配備8GB板載內(nèi)存的英偉達(dá)RTX 3070 Ti GPU上執(zhí)行。

表2顯示了模型在不同評(píng)價(jià)指標(biāo)上的分類性能。僅報(bào)告了三波長(zhǎng)的結(jié)果。表2顯示了模型在不同評(píng)價(jià)指標(biāo)上的分類性能。此外，還對(duì)所有六種波長(zhǎng)以及 PCA 轉(zhuǎn)換后的波長(zhǎng)（從6 到3）進(jìn)行了實(shí)驗(yàn)，但結(jié)果遠(yuǎn)遠(yuǎn)不能使用。

表2：灰霉病分類結(jié)果

*：粗體行表示 F1 分?jǐn)?shù)最高的試驗(yàn)。

就所有評(píng)估指標(biāo)而言，RGB和近紅外波長(zhǎng)的性能完全相同。然而，波長(zhǎng)為875nm、460nm 和640nm的波長(zhǎng)組合優(yōu)于所有其他光譜，F(xiàn)1得分為0.888，是實(shí)驗(yàn)中觀察到的最高分。后者的回歸率也是最高的，而回歸率是識(shí)別灰霉病的重點(diǎn)。在識(shí)別病害的情況下，將健康葉片誤判為感染了灰霉?。ㄒ跃_度衡量）并不那么重要。不過，為了平衡精確度和回歸率之間的平衡，F(xiàn)1 分?jǐn)?shù)更為可取。值得注意的是，除 RGB 和近紅外波長(zhǎng)外，F(xiàn)1-分?jǐn)?shù)最高的前五個(gè)模型都包含 875 nm 波長(zhǎng)，這似乎提高了模型的回歸率，從而提高了檢測(cè)灰霉病菌的能力。除了波長(zhǎng)為 460、540 和 700 nm 的通道外，波長(zhǎng)為 875 nm 的通道出現(xiàn)在所有評(píng)級(jí)最高的回歸率中。關(guān)于性能最佳模型的結(jié)構(gòu)，帶有 BN 的 VGG-11 似乎是最主要的結(jié)構(gòu)，無論輸入是什么，它都具有很高的泛化能力。

3.5.   檢測(cè)結(jié)果

對(duì)于物體檢測(cè)任務(wù)，我們采用了先進(jìn)深度學(xué)習(xí)檢測(cè)器，并在灰霉菌檢測(cè)數(shù)據(jù)集上進(jìn)行了評(píng)估： YOLOv5和YOLOv7都是實(shí)時(shí)的，計(jì)算成本較低。YOLOv5選擇CSP-Darknet53作為CNN骨干，YOLOv7選擇 E-ELAN作為CNN骨干。每個(gè)模型都使用隨機(jī)梯度下降優(yōu)化器進(jìn)行訓(xùn)練，批量大小為8。學(xué)習(xí)率設(shè)定為0.001。權(quán)重衰減和動(dòng)量參數(shù)分別設(shè)置為0.0001和0.937。輸入圖像的大小固定為1024×1024。檢測(cè)實(shí)驗(yàn)基于PyTorch對(duì)YOLOv5和YOLOv7進(jìn)行，在英偉達(dá)RTX 3070 Ti GPU上進(jìn)行的。

檢測(cè)結(jié)果如表3所示。需要注意的是，YOLOv5使用的是中型模型（YOLOv5m），在給定的設(shè)置中，與 YOLOv5的其他變體相比，YOLOv5m的性能更好。至于 YOLOv7，使用的是YOLOv7-E6E，其性能優(yōu)于同類的所有其他型號(hào)，在所有波長(zhǎng)上都有較高的指標(biāo)。

表3：灰霉病檢測(cè)結(jié)果

在疾病檢測(cè)場(chǎng)景中，重要的指標(biāo)是mAP50，其次是回歸率?；貧w率指標(biāo)顯示了模型檢測(cè)受灰霉病感染葉片的能力。從結(jié)果中可以看出，460、640和875nm組合的mAP50最高。不過，要在mAP50和回歸率之間進(jìn)行良好權(quán)衡，460、775和875nm的組合似乎與的表現(xiàn)類似，但回歸率明顯更高（0.857；就mAP50而言，比表現(xiàn)最好的模型高出0.125）。因此，具有最高回歸率的后一種模型具有更強(qiáng)的檢測(cè)灰霉菌的能力，但卻會(huì)將健康的葉片誤判為感染了灰霉菌。此外，將部分 RGB 波段與一個(gè)或兩個(gè)近紅外波段相結(jié)合似乎能提高模型的性能，而僅使用 RGB 或僅使用近紅外波段則性能較低。因此，875 nm 波長(zhǎng)對(duì)于實(shí)現(xiàn)高指標(biāo)和準(zhǔn)確檢測(cè)灰霉病至關(guān)重要。

4.       結(jié)論

在本研究中，利用多光譜圖像進(jìn)行了深度學(xué)習(xí)實(shí)驗(yàn)，以對(duì)黃瓜葉片上的灰霉菌進(jìn)行分類和檢測(cè)。根據(jù)我們的研究結(jié)果，將近紅外光譜與部分 RGB 通道相結(jié)合，可以顯著提高模型檢測(cè)感染了灰霉病的葉片的能力，這是因?yàn)榻】等~片和受感染葉片的反射率反差較大。更確切地說，波長(zhǎng)為 875 nm 的紅外光譜是取得最佳結(jié)果的關(guān)鍵。初步分類實(shí)驗(yàn)表明，深度學(xué)習(xí)模型能以 0.89 的 F1 分?jǐn)?shù)區(qū)分受感染的葉片。進(jìn)一步的實(shí)驗(yàn)表明，目前最先進(jìn)的物體檢測(cè)模型可以檢測(cè)出感染黑葉病的葉片，檢測(cè)結(jié)果為 mAP50=0.88。我們相信，這項(xiàng)工作將有助于未來的灰霉病識(shí)別研究，以支持現(xiàn)場(chǎng)的高效監(jiān)測(cè)方法，從而根據(jù)從農(nóng)場(chǎng)到餐桌的戰(zhàn)略進(jìn)行早期檢測(cè)和控制。

摘自：Deep learning-based multi-spectral identification of grey mould：Nikolaos Giakoumoglou, Eleftheria Maria Pechlivani , Athanasios Sakelliou,Christos Klaridopoulos,