В осеннем цикле программы «Уроки настоящего» школьники решали необычную задачу на стыке биологии и искусственного интеллекта. По заданию Сбера команды исследовали существующие решения и датасеты, позволяющие идентифицировать леопардов в дикой природе, а также изучали признаки, по которым эти животные могут отличаться друг от друга. Школьникам предстояло работать с большими массивами информации, изучать модели и технологии, позволяющие вести мониторинг популяций редких и исчезающих видов по снимкам с фотоловушек, а также визуализировать результаты исследовательской деятельности.
Задача была подготовлена экспертами Сбера при участии Сочинского национального парка и Кавказского государственного природного биосферного заповедника имени Х.Г. Шапошникова.
Сегодня для наблюдения за популяцией животных, их численностью и миграцией применяют фотоловушки, которые устанавливают на траекториях движения животных. А для анализа полученных фотографий и идентификации особей применяют современные алгоритмы компьютерного зрения.
Как создаются такие системы
На первом этапе необходимо изучить существующие решения, определить их сильные и слабые стороны, а также возможные источники данных.
Далее нужно собрать данные для последующего обучения алгоритмов компьютерного зрения. Для этого подойдут снимки с фотоловушек и фотографии из открытых баз данных.
Следующий шаг – подготовка данных. Данные необходимо разметить и проанализировать: определить общее количество уникальных особей, присутствующих в датасете, максимальное и минимальное количество фотографий на одну особь, количество фотографий, где нет ни одной особи или фотографий, где несколько особей встречаются вместе и т. д.
Затем нужно выбрать модель, которая наилучшим образом подойдет для решения задач идентификации диких животных. Важно учитывать, что такая модель будет включать в себя несколько алгоритмов, в том числе алгоритмы детекции (обнаружение животного на фото) и идентификации (определение конкретной особи). Лучше всего, если удастся найти решение для нужного вида животного.
Далее проводится обучение модели. Оно ведется на наборе данных (датасете), состоящем из обработанных изображений леопардов с фотоловушек и фотографий из открытых источников с соответствующими метками, указывающими на их вид.
Итоговый продукт – сайт или мобильное приложение, которыми могут пользоваться как профессиональные биологи, так и любители. Пользователи могут загрузить туда фотографии, а интегрированные в систему алгоритмы машинного обучения проанализируют их. Таким образом, можно идентифицировать особь с высокой долей достоверности, что необходимо для исследования популяций и контроля их стабильности.
Сегодня подобными сервисами пользуются некоторые заповедники и национальные парки. Школьникам предстояло проанализировать существующие решения и предложить свои идеи по использованию инструментов искусственного интеллекта для распознавания леопардов.
Выступления школьников оценивали эксперты Сбера – исполнительный директор – начальник Центра развития технологий AI во благо общества Олег Артюгин, ведущий исследователь данных Юлия Земцова, а также заместитель директора по экологическому просвещению Кавказского государственного заповедника имени Х.Г. Шапошникова Ольга Пегова.
По итогам презентаций эксперты выделили три студии, которые представили лучшие результаты.
Одной из них стала студия школы инженерного юношеского интерната № 25 г. Белгорода. Ребята представили прототип сайта, благодаря которому любители природы смогут отследить леопардов на территории заповедника. По задумке, фотоловушки устанавливаются с двух сторон по периметру троп, где передвигаются животные. Это позволяет получить наиболее подробное изображение каждого леопарда.
«Снимки с фотоловушек передаются на сайт, где каждое животное идентифицируется по уникальному рисунку пятен. У каждого леопарда этот рисунок индивидуален, как отпечатки пальцев человека. Данный узор идентифицирует специально обученная для этих целей нейросеть. В рамках нашего проекта мы предлагаем использовать для тренировки нейросети датасет Pascal Voc. Это один из самых известных наборов данных для обучения и оценки алгоритмов компьютерного зрения, – рассказывает один из участников команды Максим Трунтов. – У каждого леопарда появляется свой профиль на сайте. Там указывается его идентификационный номер, пол, возраст, последнее место пребывания. Такой сервис будет полезен как сотрудникам заповедника, так и туристам, людям, увлеченным изучением природы и животных».
Еще одно решение, которое высоко оценили эксперты, предложила студия Лесколовского центра образования Ленинградской области. Она представила прототип компьютерного приложения для заповедника, благодаря которому можно идентифицировать леопардов.
Работа сайта строится на программе HotSpotter, основанной на алгоритме SIFT, что позволяет обнаружить и описать отличительные черты мехового узора леопарда.
«Снимки с фотоловушек добавляются в программу через графический интерфейс. Далее система с помощью программы Megadetector отсеивает изображения, не содержащие леопардов, и животные локализуются на фото. После алгоритм HotSpotter преобразовывает изображения в векторы признаков особей и составляет кластерную схему для поступающих фото. На основе этих данных фотоснимки все леопарды сортируются по папкам. В приложении у каждого из них есть карточка, нажав на которую, можно увидеть подборку всех его фотографий и информацию: возраст, вид, кличку. Также есть возможность для сотрудников вручную перепроверить информацию, если нейросеть по ошибке отнесла ту или иную особь леопарда к другой», – рассказал руководитель студии Максим Запольнов.
Среди лучших специалисты также отметили работу студии гимназии № 9 Амурской области. Проанализировав существующие алгоритмы, школьники выделили два из них – Mbaza AI и Hotspotter. А для их обучения предложили использовать датасет Imagenet. Свое решение школьники упаковали в приложение для смартфона. Ребята отмечают, что их решение в первую очередь будет полезно для массового пользователя – людей, увлеченных природой, желающих больше узнать о редких видах и внести свою лепту в их сохранение.
«Потенциальным итоговым продуктом нашего проекта является приложение, которое позволило бы исследователям добавлять свои файлы об идентификации леопардов, публиковать свои статьи, получать доступ к данным других пользователей. Это могло бы помогать в исследованиях, увеличивать их масштабы. А также данное приложение может использоваться в школах, колледжах или университетах для более глубокого изучения информации, связанной с леопардами, и экологического просвещения населения», – прокомментировала руководитель студии гимназии № 9 города Свободного Александра Жеймашина.
