番茄（Solanumlycopersicum）是全世界溫帶地區(qū)種植的一種主要園藝作物，估計全球產(chǎn)量超過1.7億噸。番茄需求的跨界擴張為農(nóng)業(yè)和營銷業(yè)提供了新的機會。然而，這種農(nóng)業(yè)生產(chǎn)的全球化對農(nóng)業(yè)害蟲的全球化有重大影響。世界貿(mào)易體系的發(fā)展導(dǎo)致入侵新地區(qū)的害蟲種類急劇增加，造成蔬菜作物生產(chǎn)力下降，產(chǎn)品收獲后的保質(zhì)期受到威脅。茄科植物的兩個主要害蟲是番茄潛葉蟲Tutaabsoluta（TA）和白粉病Leveillulataurica（LT），也被稱為Oidium。

       TA（Meyrick）（鱗翅目：Gelechiidae）原產(chǎn)于南美洲，由于其高繁殖率和損害潛力，被認為是迅速擴張和破壞性強的番茄作物害蟲之一，如果不采取積極措施，會造成作物的完全和不可逆轉(zhuǎn)的破壞。該昆蟲的生長周期取決于栽培期的普遍溫度。雌性TA在植物的面積上產(chǎn)下多達250個卵，年輕的幼蟲（蒼蠅的蟲子/后代在葉子上取食）開始從植物的冠層取食，在葉子上留下特征性的不規(guī)則的病變，形成長廊（圖1），只要有食物，就會移動到新的取食地點。在蟲害開始時，1st和2nd幼蟲在葉子上形成小的白色長廊，而在3rd和4th長廊擴展到新葉，癥狀變成深褐色和壞死。這些病變由深色的排泄物組成，廣泛的侵擾會導(dǎo)致葉片完全壞死和落葉。如果氣候條件有利，幼蟲幾乎連續(xù)進食，一般不進入休眠期。當(dāng)蟲害發(fā)生時，TA幼蟲可以造成50%-100%的產(chǎn)量損失，因此在早期階段的控制是必須的。

        白粉病是一種內(nèi)生性寄生蟲，形成內(nèi)生性和附生性菌絲體，最初在亞洲、地中海和非洲的溫暖干旱到半干旱的氣候區(qū)發(fā)現(xiàn)。在番茄中，白粉病通常只感染完全發(fā)育成熟的葉片，嚴重的感染可能導(dǎo)致相當(dāng)大的損害。主要的癥狀是在葉子的背面有不規(guī)則的黃色斑點（直徑約10-15毫米）（圖1），在正面，由于共生孢子通過氣孔冒出，形成薄薄的淺褐色菌絲體。一些研究報告稱，溫室和大田番茄的產(chǎn)量損失高達40%[。Desneux等人的報告中介紹，除非采取有效的控制措施，否則在相鄰地區(qū)，該病可使番茄作物的產(chǎn)量損失高達80-100%，并可能對溫室和露地的番茄作物構(gòu)成威脅。此外，作物冠層上的病害嚴重程度會導(dǎo)致罐頭番茄的果實質(zhì)量顯著下降。

圖1.(a)：番茄潛葉蛾2nd齡幼蟲在番茄葉片的間葉細胞中取食。

(b):番茄葉片背面的黃斑，處于白粉病感染的早期階段。

      隨著農(nóng)作物病蟲害發(fā)生率的增加，必須采用新穎、準確、及時的方法來識別早期癥狀。到目前為止，檢測病蟲害的普遍方法嚴重依賴農(nóng)民的知識和經(jīng)驗，往往導(dǎo)致對風(fēng)險的管理不及時、不準確和效果差。此外，盡管針對害蟲和植物疾病的替代風(fēng)險管理方法進行了深入研究，但直到今天，使用化學(xué)植物保護產(chǎn)品處理問題的傳統(tǒng)方法仍是地中海種植區(qū)最常用的策略。不幸的是，如果病原體和害蟲在種植中已經(jīng)很成熟，殺蟲劑和殺菌劑的功效可能會受到影響，并導(dǎo)致各種抗真菌和殺蟲劑化合物的抗性發(fā)展。由于這個原因，殺蟲劑和殺菌劑的應(yīng)用往往是預(yù)防性的，從而引入了額外的固定成本，達到經(jīng)營成本的15%以上，而且沒有考慮到相關(guān)的勞動力、環(huán)境和健康危害成本。

       基于機器學(xué)習(xí)的視覺方法的發(fā)展，以及RGB和多光譜視覺傳感器的商業(yè)可用性促進了開發(fā)和發(fā)展。部署疾病檢測的自動化系統(tǒng)。這類系統(tǒng)可通過減少對勞動力和農(nóng)用化學(xué)品的依賴來實現(xiàn)溫室栽培的現(xiàn)代化。它們有可能允許對植物進行個性化管理，而不是像現(xiàn)在這樣不加區(qū)分地在整個種植園進行干預(yù)，這導(dǎo)致了資源的浪費，并經(jīng)常過度使用農(nóng)用化學(xué)品。此外，它們可以減少對人的存在和人工干預(yù)的需求，并允許溫室的全天候運行。

      在這種情況下，我們介紹了一個新的公開可用的多光譜圖像數(shù)據(jù)集：3個RGB通道和2個近紅外（NIR）通道的番茄植物，在被TA和LT感染的不同階段。此外，我們應(yīng)用一個適合檢測由TA和LT引起的病變的系統(tǒng)。該系統(tǒng)框架采用了一個深度物體檢測架構(gòu)。最后，我們運行了一個基線模型Faster-RCNN，該模型已經(jīng)在PASCALVOC2007[25]（73.2%的mAP）和2012（70.4%的mAP）的挑戰(zhàn)中使用。

相關(guān)工作

對象檢測

      由于由TA和LT產(chǎn)生的病變具有明顯的可見特征，我們可以將它們視為可以在圖像上定位的物體。在文獻中，這個問題被稱為對象檢測，并得到了廣泛的研究。正如Wand等人所述，深度神經(jīng)網(wǎng)絡(luò)（DNN）時代的突出對象檢測從基于多線感知器（MLP）的架構(gòu)開始，直到最近使用全卷積神經(jīng)網(wǎng)絡(luò)（FCN）的工作。

     框架使用基于區(qū)域的CNNs（RCNNs），它包含一個區(qū)域提議網(wǎng)絡(luò)（RPN），同時允許通過使用特征金字塔網(wǎng)絡(luò)（FPNs）進行規(guī)模不變的檢測。

     一個物體檢測器的基本設(shè)置是由一個特征提取模塊組成的--在深度架構(gòu)的情況下，這是一個經(jīng)典的深度架構(gòu)，如ResNet或VGG，已經(jīng)被證明是有效的，不需要預(yù)先應(yīng)用任何其他啟發(fā)式規(guī)則。這些特征接下來會被其他模塊用于分類、分割或突出圖的生成等任務(wù)，根據(jù)應(yīng)用情況而定。

      突出的FCN框架之一是Faster-RCNN：這是一個兩階段的物體檢測器，使用一個帶有數(shù)據(jù)驅(qū)動錨的RPN和一個負責(zé)微調(diào)和分類感興趣區(qū)域（RoI）建議的"頭"模塊。RPN的使用擺脫了前面的工作如RCNN和Fast-RCNN中使用的選擇性搜索的耗時過程。主要的區(qū)別可以在測試時發(fā)現(xiàn)，CNN的前饋程序比用選擇性搜索形成同質(zhì)區(qū)域的過程更省力。

    R-FCN在本質(zhì)上與Faster-RCNN相同，唯一的區(qū)別是它有分數(shù)圖來評估所提出的RoIs。SSD是一個單階段的物體檢測器，它使用多個卷積層來實現(xiàn)多尺度的檢測。Yolo框架也是如此，該框架的多個模型已經(jīng)發(fā)布：Yolo9000,Yolov3和Yolov4，專注于或?qū)崟r的物體檢測。另一個單階段檢測器，RetinaNet2018，在結(jié)構(gòu)上與Faster-RCNN相似，但特征圖是由最近的鄰居采樣產(chǎn)生的，而不是使用RPN。最后，CornerNet[39]和RepPoints嘗試用不同的方式來表示地面真實區(qū)域，使用點而不是邊界框。另外，F(xiàn)COS提出了一個單階段全卷積檢測器，避免了使用RPN。DeNet也使用corners來作為其RoI協(xié)議的基礎(chǔ)。

用于檢測植物病蟲害的深度學(xué)習(xí)

    最近的研究提出了新的檢測方法，基于深度神經(jīng)網(wǎng)絡(luò)和物體檢測模型來解決早期檢測植物病蟲害癥狀的難題。Raza等人展示了通過電子鼻（EN）結(jié)合神經(jīng)網(wǎng)絡(luò)技術(shù)對受感染（白粉?。┑姆押徒】捣炎魑镞M行分析和分類的數(shù)據(jù)收集，準確率高達98%。此外，Xu等人研究了近紅外光譜的應(yīng)用，利用葉片反射特性檢測番茄葉片上的潛葉蛾害蟲，并分析了不同波長的反射率，可以區(qū)分感染階段。發(fā)現(xiàn)具有相關(guān)系數(shù)的波長是1450納米和1900納米。最近的研究項目?SOUP：無土栽培升級，旨在通過傳感器網(wǎng)絡(luò)自動監(jiān)測植物生長，并引入機器人技術(shù)用于害蟲管理。

     表1中一些研究專門針對番茄植物，提供了一個關(guān)于溫室條件下的Tutaabsoluta的數(shù)據(jù)集。他們比較了預(yù)先訓(xùn)練好的完全卷積網(wǎng)絡(luò)來識別圖像中存在的疾病。與我們的數(shù)據(jù)集的主要區(qū)別是，標簽是在整個圖像上完成的，而不是在RoI上，這導(dǎo)致了分類，而不是檢測任務(wù)。另外，每張圖像一次只拍攝一片葉子，通常是葉子面向相機。在我們的案例中，整個植物都被框住了，葉子可能朝向各個方向，完全改變了病變的模式。這使得檢測任務(wù)成為檢測器要解決的更復(fù)雜的問題。

     另一方面，旨在對圖像中的疾病進行定位。然而，他們使用的數(shù)據(jù)集的分辨率不一致，來自異質(zhì)來源，這可能也是不同光譜響應(yīng)的原因。然而，每張圖像的內(nèi)容大多是單葉。另外，他們提供的注釋僅限于一個邊界框，而我們提供的位圖掩碼可用于更廣泛的架構(gòu)，如Mask-RCNN。

     為了增加我們的貢獻，上述所有的數(shù)據(jù)集都在。而我們的數(shù)據(jù)集不僅包括兩個紅外通道，還包括可見光譜中的三個通道，具有更多的窄帶響應(yīng)。Xu等人使用了一個類似的設(shè)置，其中包括遠紅外線譜段（7μm～12μm和），但他們使用的裝置為獲取圖像只提供了圖像的俯視圖。

從上面我們可以推斷出，利用深度學(xué)習(xí)進行植物病害檢測的關(guān)注度在文獻中是很明顯的。

植物病蟲害的數(shù)據(jù)集

      在文獻中，有各種研究圖像中植物疾病檢測的工作。其中很多人采用DNN架構(gòu)來實現(xiàn)高效的病害檢測，而另一些人則引入了新的數(shù)據(jù)集，以便對該主題進行進一步研究。相關(guān)數(shù)據(jù)集的屬性是所考慮的植物、疾病、捕獲的光譜、圖像的內(nèi)容和它的獲取環(huán)境。為了使事情與我們的貢獻保持一致，一些數(shù)據(jù)集也考慮到了番茄植物，而一些數(shù)據(jù)集則使用多光譜成像技術(shù)來進行分析。檢測一種疾病。例如，像表1包括了他們的數(shù)據(jù)集中有患病番茄植株的案例。其中包括番茄植物上的TA和LT，以及其他植物疾病。此外，他們使用的數(shù)據(jù)集中還使用了多光譜（MS）、高光譜（HS）或近紅外成像。然而、近紅外可能包括在MS或HS波段中。最后，只有三個數(shù)據(jù)集是公開可用的：Cherry:PowderyMildew;Squash:Healthy,PowderyMildew;tomato:BacterialSpot,etc，tomato,cotton:Blacknightshade,Velvetleaf和apple:Rust,Scab。

  表1給出了相關(guān)數(shù)據(jù)集及其特點的摘要。很明顯，缺少一個包括近紅外通道的真實溫室環(huán)境的公共數(shù)據(jù)集。更有甚者，在這種情況下，根本就沒有TA和LT的多光譜數(shù)據(jù)。

 表1：數(shù)據(jù)集和文獻中的相關(guān)研究。番茄植物、Tutaabsoluta、Leveillulataurica和近紅外的出現(xiàn)以黑體表示。

S：光譜，D：數(shù)據(jù)集（u：未公開，p：公開），F(xiàn)：框架（l：葉片，p：植物），

E：環(huán)境（l：實驗室，f：田野，g：溫室）。

數(shù)據(jù)集開發(fā)

溫室設(shè)置

      番茄苗（Solanumlycopersicumvar.Elpida）在四片真葉的階段被移植到希臘地中海大學(xué)的實驗溫室設(shè)施中的巖棉板中，該溫室為不加熱的馬鞍頂雙跨溫室，上面覆蓋有聚乙烯薄膜。為了避免害蟲和真菌疾病的轉(zhuǎn)移，植物被種植在單獨的防蟲室（12平方米）中，這些防蟲室的設(shè)計可以容納六株發(fā)育完全的番茄植物。為了產(chǎn)生一個人造的潛葉蛾蟲害，一個恒溫條件，從當(dāng)?shù)厣虡I(yè)溫室中收集的昆蟲，在番茄植物（Solanumlycopersicumvar.Elpida）實驗室中設(shè)定環(huán)境（溫度25?C，相對濕度75±5%，12小時光照，12小時黑暗）。八周后，成蟲被轉(zhuǎn)移在實驗溫室的兩個防蟲室中，在9片完全發(fā)育的葉片階段的無感染番茄植株（n=12）上設(shè)定成蟲數(shù)量（每平方3只成蟲）。

      為了產(chǎn)生人工白粉病感染，從當(dāng)?shù)厣虡I(yè)溫室中種植的番茄植物的嫩葉中分離出Leveillulataurica（Erysiphaceae）。分生孢子，即該真菌的孢子，通過用水密集地清洗被感染的葉片來收集。在光學(xué)顯微鏡下用血細胞儀對沖洗懸浮液中的分生孢子進行計數(shù)。在接種番茄葉片時，將懸浮液中的分生孢子濃度調(diào)整為每毫升1萬個。轉(zhuǎn)移到實驗溫室的兩個獨立的防蟲室中。處理后，每天用按照計算的標準營養(yǎng)液對番茄植株進行施肥，使用IQ60自動營養(yǎng)液混合系統(tǒng)（Alagro，希臘）。

圖像采集

       人工（L.taurica）接種兩周后和接種西紅柿葉片時，將懸浮液中的分生孢子濃度調(diào)整為每毫升10個分生孢子。懸浮液噴灑在番茄植株上（n=12），在9個月的階段真葉展開，每株體積為5毫升。接種的植物在生長室中保持24小時，相對濕度為100%，溫度為21°C。

     每三天采集一次番茄植株的多光譜圖像。在這項研究中，我們使用了MUSES9-MS-PL多光譜相機（Spectricon，希臘），其特點是在370-1100納米的光譜范圍內(nèi)，具有4~6百萬像素的C-MOS@25f/s。該攝像機實現(xiàn)了每臺攝像機捕獲總共8個通道，分辨率為1776x2368像素。前3個通道是用典型的RGB傳感器采集的，而其余的是通過多光譜傳感器采集的。后面的三個通道分別選擇在460納米（近藍）、540納米（近綠）和630納米（近紅）。這些波長通常與RGB相機使用的波長接近，但是多光譜傳感器在這些頻率周圍的響應(yīng)比RGB相機的響應(yīng)更密集。          最后2個通道是在紅外光譜區(qū)域，波長為850納米和980納米。表3顯示了每個波段的寬度。MUSES9的應(yīng)用包括非破壞性物體分析、生物醫(yī)學(xué)光學(xué)成像、繪畫中的顏料識別和繪圖，以及微塑料污染的多光譜顯微鏡。

      表2中該數(shù)據(jù)集共包含314張圖片，按植物、日期、癥狀和RoI標記。在該數(shù)據(jù)集中，179張圖片顯示TA癥狀，103張顯示LT癥狀，32張顯示無癥狀。由于植物是在不同的發(fā)育階段被捕獲的，因此圖像同時描述了蟲害或疾病癥狀的早期和晚期階段。此外，該數(shù)據(jù)集共獲得5個通道：460納米，540納米，630納米，850納米，980納米，相比之下，書目中的大多數(shù)數(shù)據(jù)集只用標準的RGB相機獲取。最后，由于圖像是在實驗溫室內(nèi)拍攝的，因此在整個數(shù)據(jù)集中保持了一致和真實的環(huán)境條件。在假設(shè)LED光源在整個數(shù)據(jù)集中提供一致的照明的情況下，沒有進行圖像校準。光源被安裝在相機鏡頭周圍，而圖像是在白天拍攝的。光源是一個在紫外線（UV）、可見光和近紅外光譜中發(fā)光的LED燈泡的圓形陣列。簡單地說，在紫外線下有一個單向的狹窄反應(yīng)，其模式在～375nm，可見光譜中具有更廣泛的響應(yīng)，模式在~550nm，在近紅外也有廣泛的反應(yīng)，模式在~900nm。該數(shù)據(jù)集是公開的，可用于未來的發(fā)展。圖2中可以看到一個樣本立方體。

表2：數(shù)據(jù)集中每個病變類型和進展水平的樣本數(shù)。

圖2.數(shù)據(jù)集的多光譜立方體。頂部：850納米和980納米的近紅外通道。

底部：紅色、綠色和藍色波長區(qū)域的可見光譜通道（見表3）

圖像注釋

每張圖片都由一位農(nóng)藝師專家使用VGG圖像注釋工具手動注釋。每個病變都用一個邊界框進行定位，結(jié)果用COCO對象檢測數(shù)據(jù)集的格式存儲在JSON文件中2。作為二級元數(shù)據(jù)集的數(shù)據(jù)，每個病變也根據(jù)其進展程度進行標記，1表示1-5個病變，2表示到5-10個病變，3表示10-20個病變。在進展程度較高的情況下，害蟲和疾病癥狀已經(jīng)超過了病變檢測的臨界點，為了預(yù)防的目的，將沒有意義。沒有明顯癥狀的圖像被注釋為0級。

表3MUSES9-MS-PL相機支持的波長區(qū)域和目前研究中使用的波長區(qū)域。

圖3.多光譜圖像采樣安排的俯視圖（a）和側(cè)視圖（b）。相機設(shè)置在距離番茄植株1.00米處。

從三個高度（h=0.75、1.00、1.40米）和兩個方位角（A=15°，B=-15°）獲取圖像。

自動檢測方法

前景分割

      為了計算病變與健康比率（LHR），我們必須對圖像的前景進行分割，該前景由綠色植物生物量組成。為此，我們對NDVI圖像進行了基于直方圖的閾值處理。根據(jù)綠色通道（540納米）和NDVI圖像來選擇較佳閾值。歸一化差異植被指數(shù)（NDVI）在文獻中被廣泛使用，用于區(qū)分與產(chǎn)量相關(guān)的生理特征，其計算方法如下：

其中近紅外是通道980納米，紅色是通道630納米。所用的閾值不是任意選擇的，而是計算出通道540納米（I540）和NDVI（INDVI）之間的歸一化相關(guān)系數(shù)（NCC）最大化的參數(shù)。這兩個圖像之間的NCC被定義為以下標量：

     其中，符號是元素位乘積，H和W是圖像的高度和寬度。I540和INDVI是經(jīng)過閾值處理的通道540nm和NDVI各自的圖像，給定一組閾值旨在分離出其直方圖中有用裂片的支持。I540和INDVI是上述圖像的平均像素強度。這個過程在不同的閾值集上系統(tǒng)地重復(fù)。這對產(chǎn)生的NCC被保留。

      這個程序背后的想法是，在沒有正則器存在的情況下，單獨的NDVI不能被系統(tǒng)地閾值化。這就是在這里引入通道540納米的意義，作為一個正則器，因為在一個理想的情況下，它包含了圖像中較綠色的部分，很可能是葉子。最后，我們所說的"閾值"實際上是一個強度的元組，意味著直方圖被裁剪，以準確匹配與葉子相對應(yīng)的直方圖葉。在圖4中可以看到一個分割的例子。

     可獲得的多光譜相機的出現(xiàn)使NDVI在實驗室范圍內(nèi)得到使用，最近在番茄樹冠和健康評估中得到應(yīng)用。然而，就我們所知，NDVI還沒有在機器學(xué)習(xí)框架內(nèi)實現(xiàn)對害蟲或疾病檢測的研究。

圖4.從630納米和980納米通道計算的NDVI等圖像

Faster-RCNN和它的多通道變體

     一個物體檢測模型是Faster-RCNN。通過使用卷積層，RPN的輸出被評估為包含或不包含一個物體的概率。有可能包含物體的盒子被傳遞到非較大抑制模塊，該模塊會丟棄那些有極大重疊的盒子，只留一個。剩余的界線盒用另一個卷積層進行分類，產(chǎn)生界線盒的預(yù)測及其類別。在訓(xùn)練過程中，RPN是與網(wǎng)絡(luò)的其他部分分開訓(xùn)練的。也就是說，建議被回歸到地面真相框。

     當(dāng)涉及到利用全部可用的波段時，我們使用了一個帶有FasterRCNN頭和兩個相同的預(yù)訓(xùn)練骨干的定制模型：一個用于RGB通道，一個用于850nm。更詳細地說，如圖5所示，由兩個ResNet架構(gòu)產(chǎn)生的特征通過一個簡單的2d卷積層合并在一起，并輸入Faster-RCNN頭。

圖5.多通道疾病檢測模塊的設(shè)計。它可以取代流程中的疾病檢測部分，以便使用3個以上的通道。

評估措施

評估物體檢測器的一個直接方法是計算輸出框和地面真實框之間的聯(lián)合交集（IoU）。圖6說明了IoU。然而，這種天真的方法完全忽略了什么是好的檢測器，也就是通過一次檢測對地面真實箱進行預(yù)先的預(yù)測。例如，一個檢測器在預(yù)測每個地面實況框的多個邊界框時達到了很高的IoU，就不被認為是一個好檢測器。產(chǎn)生的問題是如何對待重復(fù)的檢測。答案取決于應(yīng)用的決策規(guī)則。該過濾步驟可以基于IoU、分類分數(shù)或這兩者的混合。COCO算法所做的是在一個IoU曲線上進行整合。在預(yù)測和地面真相之間保持較低的IoU閾值將允許較小的預(yù)測通過，而較高的閾值將只接受兩者之間的高度重疊。詳細地說，COCO的閾值只在IoU上進行重復(fù)檢測，并且對多個閾值都是如此、最終計算出一個平均精度。對所有的類都這樣做，可以得到一個平均平均精度（mAP）。作為參考，我們使用了Pycocotools的執(zhí)行庫。在他們的執(zhí)行中，每個地面真實箱都與較佳預(yù)測相匹配（從分數(shù)上看和從IoU上看）。在物體檢測文獻以及LSVRC和COCO等比賽中，平均精度已經(jīng)成為一個基準指標。

除了COCO指標外，我們認為從農(nóng)學(xué)家的角度來看，有價值的是以不同的方式評估我們的結(jié)果?；谶@個原因，我們也將每張圖片作為一個整體進行評估檢測。詳細來說，如果有一個檢測與一個地面真實箱相匹配，則該圖像被認為是真陽性（TP）。如果沒有檢測到，但至少有一個地面真相框，則該圖像算作假陰性（FN）。相反，如果至少有一個檢測，但沒有地面真相框，則算作假陽性（FP）。

圖6.閉合曲線之間的交集（IoU），這里是兩個邊界盒。A和C是不相交部分的面積，B是相交部分。

所有的這些定義了聯(lián)合區(qū)域。

深度學(xué)習(xí)設(shè)計

該管道的擬議模塊顯示在圖7中。在圖像采集之后（見b），光譜立方體被歸一化為平均數(shù)和標準差，以便遵循數(shù)據(jù)集COCO引入的先驗因素，我們用它來預(yù)訓(xùn)練我們的模型。在第三步，這些立方體被送入檢測管道深度神經(jīng)網(wǎng)絡(luò)，產(chǎn)生形式為(x,y,width,height)的邊界盒，以及它們各自的分類分數(shù)。每個邊界框定義了一個潛在病變的界限。在最后一步，由此產(chǎn)生的邊界盒根據(jù)網(wǎng)絡(luò)的置信度進行過濾。剩下的檢測結(jié)果被用來計算兩個指數(shù)。第一個是用于性能評估，即我們計算平均精度（AP），如COCO評估程序中提出的。第二個是病害面積與健康葉片面積之比（見b節(jié)），這對農(nóng)學(xué)家來說是一個有用的測量，可以估計疾病的階段。

圖7.深度學(xué)習(xí)管道的設(shè)計

實驗設(shè)計和評估

在我們的實驗中，我們旨在展示在真實條件下使用深度學(xué)習(xí)病變分割框架的可行性，以及使用近紅外通道來提高其效率的潛力。

我們使用的主要工具是PytorchFaster-RCNNimplementa-tion，其中ResNet50骨干特征提取器在Image-Net上進行了預(yù)訓(xùn)練，而整個網(wǎng)絡(luò)則在COCO'17上進行了預(yù)訓(xùn)練。從從這個模型的快照開始，我們繼續(xù)使用"近似聯(lián)合訓(xùn)練法"進行訓(xùn)練：即來自分類器、bbox回歸器的損耗和RPN-bbox回歸器加在一起，形成一個損耗，這個損耗在整個模型參數(shù)中被反向傳播。最后，我們?yōu)樽约旱脑u估方法選擇了IoU和分類分數(shù)閾值，而對于COCO的評估，我們將其保持在默認值（IoU閾值=0.5，得分閾值=0.5）。

為了清楚地展示近紅外通道的附加價值，我們設(shè)立了兩個實驗。在第一個實驗中，被稱為A，我們使用通道630納米，540納米，460納米作為三個通道輸入到一個香草預(yù)訓(xùn)練的Faster-RCNN模型。

在第二個實驗中，B，我們即興創(chuàng)作了一個兩個并行的骨干結(jié)構(gòu)，為我們的輸入增加了三個通道。這些通道是850納米、980納米和閾值化的NDVI。第三個基本上是立方體的葉子區(qū)域的掩碼。在這個實驗中取得了較高的mAP分數(shù)（見表4）。

表4使用Pycocotools庫的Faster-RCNN檢測器的評估結(jié)果。平均精度以黑體字出現(xiàn)。這兩個表格分別指的是實驗A和B。對于每個指標，還提供了每個輸出類別的分數(shù)。結(jié)果是五重交叉驗證的平均值。

為了詳細說明這些結(jié)果，我們需要澄清COCO評估的一些概念。當(dāng)把地面真實箱體與探測結(jié)果相匹配時，COCO考慮了一個較大的探測數(shù)量，即max?ets，超過這個數(shù)量的所有探測都會被丟棄。這個閾值默認設(shè)置為1、10和100。bbox_sizes表示用于評估的盒子的類型。檢測根據(jù)其大小被分為小、中、大。這設(shè)法顯示了系統(tǒng)是如何在這些情況下分別形成的。

圖4收集了這兩個實驗。我們對A和B的mAP值分別為16.0%和20.2%；這可能看起來很低，但我們應(yīng)該牢記實際溫室的操作條件，而不是實驗室，這些圖像是在這種條件下捕獲的。我們的推測是:由于地面真實邊界框的大小和長寬比的不同，再加上圖像中出現(xiàn)的不均勻分布，由于平均化而產(chǎn)生了較低的mAP值，而平均化是與此類參數(shù)無關(guān)的。

表5

使用提議的評估方法的檢測結(jié)果。每張圖像都構(gòu)成一次檢測，從農(nóng)學(xué)家的角度看，這是有意義的，因為僅僅是植物上存在病害就足以讓專家采取行動。這兩個表格分別指的是實驗A和B。對于每個指標，還分別提供了每個類別的得分。結(jié)果是五重交叉驗證的平均值

最后，在b節(jié)中討論的第二個性能測量技術(shù)的結(jié)果顯示在表5中。同樣，在我們的模型中增加額外的通道作為輸入，再加上所使用的第二條主干線，顯然可以改善結(jié)果。這個評估技術(shù)的目的是回答專家的問題"這個植物上是否存在病變？"。這個問題很容易用對象檢測器來回答，它產(chǎn)生的結(jié)果在數(shù)字上很高（>90%）。

從結(jié)果中也可以看出，無論哪種指標，該模型對LT的整體表現(xiàn)都更好。這可能是由于LT在葉子上有一個微妙的外觀，長寬比大致恒定。相反，TA在視覺上更清晰，成長和改變形狀的速度更快。因此，我們推測，LT例子的一致性使其檢測比TA的檢測更容易。

討論和結(jié)論

為了進一步解釋我們的結(jié)果，我們需要考慮所提出的方法所評估的虛假檢測的類型。一方面，假陽性（FP）情況通常發(fā)生在模型將葉子形態(tài)（例如一個洞）解釋為病變，或者當(dāng)多次檢測包含地面時。這兩種情況的例子顯示在圖8a中。根據(jù)受FP影響的mAP的結(jié)果，在Faster-RCNN結(jié)構(gòu)中使用FPN模塊有助于克服檢測小病變的問題，特別是在接種的早期階段出現(xiàn)。另一方面，影響mAR指標的假陰性（FN）可能在兩種主要情況下出現(xiàn)。一種情況是，由于能見度低（圖8c），即使是專家也很難決定病變的存在與否。另一種情況是當(dāng)一個檢測占了多個相鄰的枯燥的地面真實箱（見圖8c，右）。COCO數(shù)據(jù)集格式支持這樣一個邊界盒的注釋屬性，稱為"群"。然而，典型的使用情況是當(dāng)圖像中存在同一類別的物體重疊的時候。在我們的案例中，即使有非常接近的病變實例，也不清楚在哪個界限之后它們應(yīng)該被稱為"群"。這是由疾病的性質(zhì)決定的，它擴展了迷宮式的模式。

使用后者的架構(gòu)，可以獲得更少的次級通道、需要一個額外的模塊將通道數(shù)量轉(zhuǎn)換為三個，以便將其送入主干網(wǎng)。這個K-to-Three通道的卷積層引入了一個問題，即如何在已經(jīng)預(yù)訓(xùn)練過的骨干網(wǎng)旁邊訓(xùn)練額外的未訓(xùn)練過的模塊。即使近紅外提供了額外的輸入，也會導(dǎo)致更好的結(jié)果。我們嘗試著將其與其他預(yù)訓(xùn)練的骨干模塊一起進行天真地訓(xùn)練，然而它產(chǎn)生的結(jié)果比預(yù)期的要低，這就是為什么我們把它放在未來的工作中。

最后，這項工作為Tutaabsoluta和Leveillulataurica提供了一個公開可用的多光譜數(shù)據(jù)集，并為它們在接種的早期階段的定位和分類提供了一個基準實驗。據(jù)我們所知，這個數(shù)據(jù)集是獨一無二的。此外，我們還展示了多光譜數(shù)據(jù)的近紅外通道通過使用NDVI-630納米通道對在預(yù)處理過程中為背景提取提供了附加價值，并且可以通過在通常使用的RGB通道之上納入額外的通道來進一步提高檢測結(jié)果。由此產(chǎn)生的數(shù)據(jù)集和方法可以很容易地應(yīng)用于溫室西紅柿栽培的圖像識別應(yīng)用，以達到疾病和寵物管理的目的。特別是在支持自動圖像采集的系統(tǒng)中，如機器人和攝像設(shè)備的應(yīng)用。

圖8.(a)：由于對單一的地面實況進行多次檢測而產(chǎn)生的假陽性；(b)：由于能見度低，地面實況模糊不清。

(c):由于低能見度導(dǎo)致的假陰性例子和（d）："群"狀的病變?nèi)骸?/p>

圖9.使用Faster-RCNN

(a,b)：白粉病和（c,d）：番茄潛葉蛾。

摘自：A Multispectral Dataset for the Detection of Tuta Absoluta and Leveillula Taurica in Tomato Plants

P.S. Georgantopoulos, D. Papadimitriou , C. Constantinopoulos , T. Manios ,I.N. Daliakopoulos , D.Kosmopoulos