— Павел Николаевич, как сообщает пресс-служба Минобрнауки, вы разработали специальную автоматизированную систему для контроля за состоянием виноградников совместно с учёными из Всероссийского национального научно-исследовательского института виноградарства и виноделия «Магарач» РАН. Расскажите, пожалуйста, подробнее об изобретении. Как устроена система?

— Речь идёт об автоматизированном мониторинге состояния виноградников, который мы разработали совместно с коллегами — заведующим лабораторией «Цифровые технологии в виноделии и виноградарстве» Дмитрием Ворониным и аспирантом Дмитрием Котельниковым. Технология основана на нейросетевом анализе изображений виноградных листьев, которые снимают беспилотные летательные аппараты (БПЛА).

Последовательность действий такая: в полётный контроллер БПЛА загружается полётное задание, в соответствии с которым дрон облетает ряды виноградника. Мы выяснили, что для получения оптимального результата коптер должен облететь каждый ряд как минимум трижды.

Затем отснятые видеоматериалы загружаются в стационарное высокопроизводительное вычислительное устройство для последующей нейросетевой классификации. То есть анализируется каждый кадр для нахождения изображения сухих, поражённых болезнью или вредителями листьев и производится их подсчёт. Полученные данные визуализируются системой в виде тепловой карты, на которой обозначено, в каких координатах и сколько было обнаружено поражённой листвы.

Изначально мы рассматривали идею обработки данных непосредственно во время видеосъёмки, но для этого потребовалось бы установить бортовой вычислитель на БПЛА. Это увеличило бы вес коптера и сократило время полёта до следующей подзарядки и замены аккумуляторов. Поэтому мы отказались от этого подхода.

В процессе экспериментальных исследований было установлено, что для корректного функционирования системы недостаточно использовать стандартную процедуру нейросетевой классификации объектов, так называемую Object Detection. Это связано с тем, что одни и те же листья могут попасть на несколько кадров, и, чтобы избежать их повторного подсчёта, мы применили технологию отслеживания объектов, основанную на ещё одной нейросети — Object Tracking. Таким образом, благодаря одновременному использованию двух технологий мы получили качественные результаты, достаточные для экспресс-оценки состояния виноградника.

Что касается аппаратуры, то тут подходят практически любые БПЛА, главное, чтобы они были оснащены хорошей видеокамерой со стабилизатором. Однако если использовать аппараты с закрытым программным обеспечением, то потребуется их дооснащение специализированным GPS-трекером.

— Что было самым сложным в работе над технологией?

— Сложнее всего было создать набор данных для обучения нейронной сети, содержащий большое количество изображений с размеченными здоровыми и поражёнными виноградными листьями, а также программирование полётного контроллера БПЛА. В рамках исследования был подготовлен такой набор, состоящий из более чем 6 тыс. изображений. Мы вручную фотографировали листья и кусты винограда, использовали фото- и видеоматериалы из открытых источников, включая YouTube.

Этого объёма данных хватило, чтобы обучить нейросеть самостоятельно отличать здоровые листья от поражённых. Но для точной классификации причин поражения — от конкретных болезней или вредителей — такого объёма недостаточно.

Поэтому в этом году мы продолжим работу по сбору изображений виноградных кустов и планируем выполнить процедуру разметки повреждённых листьев с указанием для нейронной сети конкретных причин поражения. В этой работе нам потребуется помощь наших коллег из лаборатории «Защита растений» Всероссийского национального научно-исследовательского института виноградарства и виноделия «Магарач» РАН, возглавляемой одним из лучших учёных в этой области, Натальей Алейниковой. Мы считаем, что можно будет классифицировать некоторые отдельные болезни (хлороз, милдью, гниль и т. д.).  

Однако нам пока придётся отложить работу по видеосъёмке виноградников с воздуха до того момента, когда будет снят запрет на запуск БПЛА в нашем регионе. 

— Какую практическую пользу принесёт такая технология? Есть ли уже интерес к ней со стороны бизнеса?

— Да, такой интерес есть. Технология будет широко востребована агропредприятиями, занятыми выращиванием винограда: она не только позволит повысить урожайность, но и снизит возможные финансовые риски. Быстрое выявление очагов заболеваний растений на ранних стадиях позволит предотвратить распространение болезни и избежать крупных потерь. Тем более что нейросеть способна не только находить такие очаги, но и прогнозировать динамику распространения заболеваний. Кроме того, систему можно применять для контроля уровня влажности — пересыхание почвы или, напротив, избыток влаги могут также вызывать повреждения виноградных кустов.

В первую очередь разрабатываемая технология планируется для внедрения на винограднике Севастопольского государственного университета. Данная площадка является прекрасным испытательным полигоном для отработки различных цифровых решений в области виноградарства. Это связано с тем, что этот объект изначально проектировался как «Цифровой виноградник» ­— здесь имеется интерактивная карта посадки кустов с GPS-метками, метеорологические датчики и прочее.

— Можно ли подстроить технологию под другие сельскохозяйственные культуры — например, под зерновые, плодовые?

— Да, потому что данная система является универсальным инструментом для детектирования, классификации и подсчёта практически любых объектов и может найти применение для решения задач сельскохозяйственных предприятий, занимающихся другими сельскохозяйственными культурами. Требуется только переобучить нейронную сеть находить другие объекты.

Более того, мы уже адаптировали эту технологию для решения задач в другой области — солнечной энергетике. Принцип работы технологии остаётся таким же — ведётся видеосъёмка с помощью БПЛА, просто в качестве объектов выступают фотоэлектрические модули. Беспилотник, пролетая над ними, ищет проблемные места: повреждённые поверхности фотоэлектрических модулей, загрязнения, затемнения и т. д. На карте отображаются точки, где нейронная сеть выявила потенциальные проблемы, и туда могут выехать специалисты для ремонта. Мы уже начали работу по практическому внедрению технологии для обслуживания солнечных электростанций.

— В прошлом году Министерство сельского хозяйства России опубликовало тендер на создание сервиса с применением ИИ, который позволил бы автоматически отслеживать и анализировать состояние земель сельхозназначения в стране, а также произрастающие на них культуры. С чем связан такой высокий интерес к применению нейросетей в сельском хозяйстве?

—Сейчас правительство уделяет много внимания цифровизации и автоматизации предприятий, включая сельскохозяйственные. Считаю, что такие технологии позволят значительно повысить производительность труда.

Главным препятствием для внедрения таких решений было отсутствие и дороговизна высокопроизводительного вычислительного оборудования и робототехнических средств, в том числе беспилотных летательных аппаратов. Но сейчас и коптеры стали доступны, и производительность компьютеров заметно выросла. Всё это открыло возможности для широкого внедрения таких технологий, как наша.

Они уже доказали свою эффективность. Нейросетевой анализ и машинное зрение успешно применяются в различных областях для решения задач, связанных с нечёткой логикой. Нечёткая логика — это раздел логики, предложенный американским математиком Лютфи Заде в 1965 году для анализа данных, которые нельзя обобщить как «да» или «нет», образно говоря. В таких случаях стандартные программные алгоритмы работают неэффективно. Но применение в программировании принципов нечёткой логики привело к появлению нейросетей — особых программ, способных к самообучению.

источник