Доступ открыт Открытый доступ  Доступ закрыт Только для подписчиков

Модель и метод оценки качества вклада участника системы совместной разметки изображений


https://doi.org/10.31799/1684-8853-2018-4-45-51

Полный текст:


Аннотация

Постановка проблемы: масштабные человеко-машиннье системы, посредством сети Интернет вовлекающие в процесс обработки информации сообщества людей, неоднородные по навыкам и уровню мотивации участников, в последнее время находят применение в широком классе приложений. В таких системах актуальной является про­блема оценки ожидаемого качества вклада участника (такая оценка может использоваться, например, для отсеива­ния некомпетентных или небрежных участников и поощрения наиболее аккуратных).

Цель: разработка метода оценки ожидаемого качества вклада участника системы совместной разметки, использующего только ненадежные и непол­ные данные, получаемые от других участников системы (без знания истинных результатов).

Результаты: предложена математическая модель системы совместной разметки изображений (включающая модель участника), а также метод оценки ожидаемого качества вклада участника такой системы. Предложенный метод основывается на сопоставлении результатов разметки различных участников на одинаковых изображениях и является модификацией метода попа рных сравнений, в которой вместо отношения предпочтения используется характеристика доминирования, определяемая специальным образом (показываю щая, какой из участников дает более полные ответы). Оценки ожидаемого качества вклада участников предложено получать как положительный собственный вектор матрицы со значениями попарньх характеристик доминирования. В ходе имитационного моделирования процесса совместной разметки показано, что предлагаемый метод действительно позволяет оценить качество вклада участника без использования эталонных резуль­татов (при условии соответствия поведения участника предлагаемой модели).

Практическая значимость: полученные результаты могут быть использованы при разработке систем, основанных на использовании скоординированных уси­лий участников сообщества (и, в первую очередь, систем совместной разметки).


Об авторе

А. В. Пономарев
Санкт-Петербургский институт информатики и автоматизации РАН.
Россия

канд. техн. наук, старший научный сотрудник. 

14-я линия В. 0., 39, Санкт-Петербург, 199178.



Список литературы

1. Wechsler D. Crowdsourcing as a Method of Transdisciplinary Research — Tapping the Full Potential of Participants // Futures. 2014. Vol. 60. P. 14–22.

2. Baev V., Sablok G., Minkov I. Next Generation Sequencing Crowd Sourcing at BIOCOMP: What Promises it Holds for us in Future? // Journal of Computational Science. 2014. Vol. 5. N 3. P. 325–326.

3. Fraternali P., Castelletti A., Soncini-Sessa R., et al. Putting Humans in the Loop: Social Computing for Water Resources Management // Environmental Modelling and Software. 2012. Vol. 37. P. 68–77.

4. Nunes A., Galvão T., Cunha J. Urban Public Transport Service Co-creation: Leveraging Passenger’s Knowledge to Enhance Travel Experience // Procedia — Social and Behavioral Sciences. 2014. Vol. 111. P. 577–585.

5. Brabham D. C., Ribisl K. M., Kirchner T. R., Bernhardt J. M. Crowdsourcing Applications for Public Health // American Journal of Preventive Medicine. N 46(2). P. 179–187.

6. Wu H., Sun H., Fang Y., et al. Combining Machine Learning and Crowdsourcing for Better Understanding Commodity Reviews // Proc. of the 29th AAAI Conf. on Artificial Intelligence. 2015. P. 4220–4221.

7. Chang J., Amershi S., Kamar E. Revolt: Collaborative Crowdsourcing for Labeling Machine Learning Datasets // Proc. of the Conf. on Human Factors in Computing Systems (CHI 2017). 2017. P. 2334–2346.

8. Lasecki W., Song Y., Kautz H., Bigham J. Real-time Crowd Labeling for Deployable Activity Recognition // Proc. of the 2013 Conf. on Computer Supported Cooperative Work. 2013. P. 1203–1212.

9. Irshad H., Oh E.-Y., Schmolze D., et al. Crowdsourcing Scoring of Immunohistochemistry Images: Evaluating Performance of the Crowd and an Automated Computational Method // Scientific Reports. 2017. Vol. 7. Article 43286.

10. Leifman G., Swedish T., Roesch K., et al. Leveraging the Crowd for Annotation of Retinal Images // Proc. of the 37th Annual Intern. Conf. of the IEEE Engineering in Medicine and Biology Society (EMBC). 2015. http://web.media.mit.edu/~gleifman/papers/ GSRR_crowd_EMBC15.pdf (дата обращения: 02.05.2018).

11. Bernstein A., Klein M., Malone T. Programming the Global Brain // Communications of the ACM. 2012. Vol. 55. Iss. 5. P. 41–43.

12. Пономарев А. В. Разметка изображений массового мероприятия его участниками на основе немонетарного стимулирования // Информационно-управляющие системы. 2017. № 3. С. 105–114. doi:10.15217/ issn1684-8853.2017.3.105

13. Ben-Ami I., Basha T., Avidan S. Racing Bib Numbers Recognition, British Machine Vision Conference (BMVC). 2012. http://people.csail.mit.edu/talidekel/papers/RBNR.pdf (дата обращения: 02.05.2018).

14. Roy S., et al. A New Multi-modal Technique for Bib Number/Text Detection in Natural Images, Advances in Multimedia Information Processing (PCM 2015). 2015. LNCS 9314. P. 483–494.

15. Ponomarev A. Community Photo Tagging: Engagement and Quality Study // Proc. of the 2017 ACM Web Science Conf. (WebSci’17). 2017. P. 409–410.

16. Пономарев А. В. Методы обеспечения качества в системах крауд-вычислений: аналитический обзор // Тр. СПИИРАН. 2017. Т. 54. № 5. С. 152–184.

17. Zhang J., et al. Consensus Algorithms for biased Labeling in Crowdsourcing // Informaion Sciences. 2017. Vol. 382–383. P. 254–273.

18. Matsunaga A., Mast A., Fortes J. a. B. B. Workforce-efficient Consensus in Crowdsourced Transcription of Biocollections Information // Future Generation Computer Systems. 2016. Vol. 56. P. 526–536.

19. Dawid A. P., Skene A. M. Maximum Likelihood Estimation of Observer Error-Rates using the EM Algorithm // Applied Statistics. 1979. Vol. 28. N 1. P. 20–28.

20. Sheng V. S., Provost F., Ipeirotis P. G. Get Another Label? Improving Data Quality and Data Mining using Multiple, Noisy Labelers // Proc. of the 14th ACM SIGKDD Intern. Conf. on Knowledge Discovery and Data Mining (KDD 08). 2008. P. 614–622.

21. Lou Y., et al. Use of Ontology Structure and Bayesian Models to Aid the Crowdsourcing of ICD-11 Sanctioning Rules // Journal of Biomedical Informatics. 2017. Vol. 68. P. 20–34.

22. Dai P., et al. POMDP-based Control of Workflows for Crowdsourcing // Artificial Intelligence. 2013. Vol. 202. P. 52–85.

23. Han K., Zhang C., Luo J. Taming the Uncertainty: Budget Limited Robust Crowdsensing Through Online Learning // IEEE/ACM Transactions on Networking. 2016. Vol. 24. N 3. P. 1462–1475.

24. Wen Y., et al. Quality-Driven Auction-Based Incentive Mechanism for Mobile Crowd Sensing // IEEE Transactions on Vehicular Technology. 2015. Vol. 64. N 9. P. 4203–4214.

25. Shamir L., Diamond D., Wallin J. Leveraging Pattern Recognition Consistency Estimation for Crowdsourcing Data Analysis // IEEE Transactions on Human-Machine Systems. 2016. Vol. 46. N 3. P. 474–480.

26. Burmania A., Parthasarathy S., Busso C. Increasing the Reliability of Crowdsourcing Evaluations using Online Quality Assessment // IEEE Transactions on Affective Computing. 2016. Vol. 7. N 4. P. 374–388.

27. Гантмахер Ф. Р. Теория матриц. — М.: Наука, 1966. — 576 с.


Дополнительные файлы

Для цитирования: Пономарев А.В. Модель и метод оценки качества вклада участника системы совместной разметки изображений. Информационно-управляющие системы. 2018;(4):45-51. https://doi.org/10.31799/1684-8853-2018-4-45-51

For citation: Ponomarev A.V. Model and Method for Contributor’s Quality Assessment in Community Image Tagging Systems. Information and Control Systems. 2018;(4):45-51. (In Russ.) https://doi.org/10.31799/1684-8853-2018-4-45-51

Просмотров: 79


Creative Commons License
Контент доступен под лицензией Creative Commons Attribution 4.0 License.


ISSN 1684-8853 (Print)
ISSN 2541-8610 (Online)