Специалисты по сравнениям

Георгий Потапов

Вслед за недавним релизом новой версии сервиса мониторинга пожаров, специалисты Авиалесохраны опубликовали на своем сайте сравнение с их системой, которая называется ИСДМ-Рослесхоз.
Сравнение они провели по площадям пожаров, но не вполне корректным образом. Они взяли выборочные данные, полученные в их системе, в результате суммарной оценки за весь период горения пожаров, и сравнили их с нашими данными за один день (см. pdf).
Отсылаем специалистов к руководству пользователя, где написано как просматривать архивные данные за период и публикуем откорректированный вариант сравнения.
Тем не менее, это наталкивает на мысль, как улучшить интерфейс, сделав его более понятным и информативным. О чем нам уже сообщили пользователи.
За что им спасибо! :)

UPD: Комментарии независимых экспертов на Лесном форуме Greenpeace

5 комментариев на “Специалисты по сравнениям”

  1. Как я уже отмечал на Лесном форуме Greenpeace, если внимательно смотреть информацию приdеденную специалистами ФГУ «Авиалесоохрана», но даже «не специалисты по сравнениям» могут заметить, что в данных ИСДМ Рослесхоз приведено два блока информации 1 — данные за период действия всего пожара, 2 — данные за прироста площади за один день (а именно день который сравнивает с SFMS). Сделано это, насколько я понимаю, для того чтобы можно было оценить корректность данных. Хорошо видно что данные, которые приводит SFMS за текущие сутки завышены. (например для пожара 1 почти в 7 раз, а для пожара 6 более чем в 20 раз). Заметим это можно проверить даже просто посмотрев расположения «костров» на самом сервисе SFMS.
    Я считаю, что приведенная оценка ФГУ «Авиалесоохрана» абсолютно корректна и специалистам Greenpeace и Сканекс, следовало бы для начала извиниться, а потом все таки продолжить дорабатывать свой сервис.
    .

    [Ответить]

    Георгий Потапов Ответ:

    Да, это мы заметили. Но ваше сравнение от этого корректнее не становится. Мы просто оконтуриваем hotspots и отображаем это как площадь активного пожара, а не _прирост_площади_за_один_день. Вы говорите, что это неправильно — насколько я понимаю, такое видение основывается на требованиях служб того же Рослесхоза, которые формируют все свои отчеты как «столько-то сгорело за весь период и за сегодня еще столько-то». Если это и есть суть вашего замечания — то тогда это касается способа представления или недостатка информации, а не ее ошибочности. Будем признательны, если вы нам дадите аккаунт на свой закрытый сервис, чтобы мы могли визуально сопоставить результаты с вашими в ходе дальнейшей разработки.

    [Ответить]

    Лупян Евгений Ответ:

    Обращаю Ваше внимание (еще раз) что в материалах ФГУ «Авиалесоохрана» (http://www.aviales.ru/files/documents/2011/08/srav_sfms_isdm.pdf) приведены следующие цифры.
    1. столбец «Данные SFMS» — данные за сутки 29.09,
    2. столбец «данные ИСДМ» — данные за все время действия пожара и данные за сутки 29.09 (это и есть прирост площади).
    Никаких комментариев какую цифру с какой нужно сравнивать в материале нет. Сравнивали уже Вы и видимо действительно некорректно. Из всех ваших замечаний создается ощущение, что Вы и Редактор Новостей Greenpeace сравнили данные за сутки с данными ИСДМ за весь период с данными SFMS за сутки. Видимо Вам это сравнение не понравилось. (здесь я полностью согласен сделанное Вами сравнение некорректно). Но это Ваша ошибка, а не ФГУ «Авиалесоохрана».
    Сравнение, которое я привел в предыдущем замечание на основе данных ФГУ «Авиалесоохрана» гораздо более корректно (фактически сравниваются площади горения в одних стуках, поскольку выбранные пожары как видно из изображений на 29.07 горят в основном по периметру, за счет чего и происходит прирост).
    По результатам сравнения я говорю только одно, приведенные Вами цифры очень далеки от действительности. Проверить это можно не только по данным ИСДМ, но и по расположению «костров» в SFMS (хорошо видно, что они занимают мягко говоря не всю оконтуренную область).
    Как Вы эти цифры получаете в общем-то не очень интересно. Я не готов обсуждать корректность Вашего алгоритма. Ясно одно, используемый Вами алгоритм работает мягко говоря странно. Желаем Вам успехов в его доработке.
    По поводу доступа к сервису ИСДМ, Вы можете обратиться в ФГУ «Авиалесоохрана». Для визуальных оценок можете воспользоваться демоверсией сервиса ВЕГА (http://vega.smislab.ru), алгоритмически они работают похоже с ИСДМ. На ВЕГЕ Вы можете увидеть и контур пожара, и участки активного горения в конкретный день.

    [Ответить]

    Георгий Потапов Ответ:

    В общем, по-моему, спор этот продолжать бесполезно. Для нас является полезным сведением, что пользователям требуется оценка суммарной площади горячих точек. Алгоритм тут понятен и данные можно получить близкие к вашим.
    Кстати, не вы ли прошлым летом критиковали наш проект отрисовки гарей пользователями? В результате эти данные доработал тот же Greenpeace, они открыто доступны, и можно провести оценку точности автоматического алгоритма по сравнению с пользовательскими данными. Не проводилось ли вами такое сравнение?

    [Ответить]

    Лупян Евгений Ответ:

    Мы провели такое сравнение в интересах ИСДМ Рослесхоз. К сожалению, мы не можем опубликовать детальные контура гарей, поскольку решение о их публикаций принимает владелец данных (Рослесхоз). Единственное что могу сказать, что наше сравнение показало очень низкое качество данных представленных у Вас. Прошу прощения, что не могу привести конкретных цифр в подтверждение своим словам. Собственно это видно даже без всякого сравнения, просто смотря на то форму контуров у Вас на сервере. Насколько я понимаю это связано с уровнем специалистов, которые оконтуривают конкретные гари. Некоторые гари могут быть оконтурены с очень большим качеством, но подавляющее большинство не выдерживает никакой критики.
    Проблема понятная, достаточно очевидная, и с ней сталкиваются любые системы, которые позволяют широкому кругу пользователей корректировать информацию. Именно из-за этой проблемы таким сервисам практически не возможно доверять (поскольку нельзя твердо сказать чему именно можно верить а чему нет).
    В ИСДМ-Рослесхоз сейчас внедрена многоуровневая проверка результатов уточнения, в ней используются как интерактивные, так и автоматические методы оконтуривания. Это на наш взгляд позволяет отсеять некачественную информацию.
    Мы также, уже в рамках своих проектов, проводили детальный комплексный детальный анализ повреждений лесов на гарях 2010 года в Московской области. С этими результатами можно ознакомиться по адресу: http://www.aviales.ru/files/documents/2011/04/mo2010.pdf.
    Еще мне кажется, Вам и Вашим читателям будет интересен анализ использования различных алгоритмов объединения «горячих точек» для оценки динамики и площадей природных пожаров выполненный ФГУ «Авиалесоохрана» (http://www.aviales.ru/files/documents/2011/08/srav_sfms_isdm2.pdf)

    [Ответить]

Оставить комментарий