maisМоделирование и анализ информационных системModeling and Analysis of Information Systems1818-10152313-5417Yaroslavl State University10.18255/1818-1015-2017-6-772-787mais-614Research ArticleОригинальные статьиArticlesАнализ использования различных типов связей между терминами тезауруса, сгенерированного с помощью гибридных методов, в задачах классификации текстовAnalysis of Influence of Different Relations Types on the Quality of Thesaurus Application to Text Classification Problemshttps://orcid.org/0000-0002-6137-8643ЛагутинаНадежда СтаниславовнаLagutinaNadezhda S.

канд. физ.-мат. наук, доцент

PhD, associate professor

lagutinans@rambler.ruhttps://orcid.org/0000-0002-1742-3240ЛагутинаКсения ВладимировнаLagutinaKsenia V.

студент

student

lagutinakv@mail.ruhttps://orcid.org/0000-0002-5027-5024ЩитовИван АндреевичShchitovIvan A.

аспирант

graduate student

ivan.shchitov@e-werest.orghttps://orcid.org/0000-0003-3984-8423ПарамоновИлья ВячеславовичParamonovIlya V.

канд. физ.-мат. наук, доцент

PhD, associate professor

Ilya.Paramonov@fruct.orgЯрославский государственный университет им. П.Г. ДемидоваРоссияP.G. Demidov Yaroslavl State UniversityRussian Federation201718122017246772787Copyright © Лагутина Н.С., Лагутина К.В., Щитов И.А., Парамонов И.В., 20172017Лагутина Н.С., Лагутина К.В., Щитов И.А., Парамонов И.В.Lagutina N.S., Lagutina K.V., Shchitov I.A., Paramonov I.V.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://www.mais-journal.ru/jour/article/view/614

Цель данной статьи — проанализировать, насколько эффективно могут применяться различные типы тезаурусных связей в задачах классификации текстов. Основой исследования является автоматически сгенерированный тезаурус предметной области, содержащий три типа связей: синонимические, иерархические и ассоциативные. Для генерации тезауруса используется гибридный метод, основанный на нескольких лингвистических и статистических алгоритмах выделения семантических связей и позволяющий создать тезаурус с достаточно большим числом терминов и связей между ними. Авторы рассматривают две задачи: тематическая классификация текстов и классификация больших новостных статей по тональности. Для решения каждой из них авторами были использованы два подхода, каждый из которых дополняет стандартные алгоритмы процедурой, применяющей связи тезауруса для определения семантических особенностей текстов. Подход к тематической классификации включает в себя стандартный алгоритм BM25 вида «обучение без учителя» и процедуру, использующую синонимические и иерархические связи тезауруса предметной области. Подход к классификации по тональности состоит из двух шагов. На первом шаге создается тезаурус, тональные веса терминов которого считаются в зависимости от частоты встречаемости в обучаемой выборке или от веса соседей по тезаурусу. На втором шаге тезаурус применяется для вычисления признаков слов из текстов и классификации текстов методом опорных векторов или наивным байесовским классификатором. В экспериментах с корпусами BBCSport, Reuters, PubMed и корпусом статей об американских иммигрантах авторы варьировали типы связей, которые участвуют в классификации, и степень их использования. Результаты экспериментов позволяют оценить эффективность применения тезаурусных связей для классификации текстов на естественном языке и определить, при каких условиях те или иные связи имеют большую значимость. В частности, наиболее полезными тезаурусными связями оказались синонимические и иерархические, так как они обеспечивает лучшее качество классификации.

 

The main purpose of the article is to analyze how effectively different types of thesaurus relations can be used for solutions of text classification tasks. The basis of the study is an automatically generated thesaurus of a subject area, that contains three types of relations: synonymous, hierarchical and associative. To generate the thesaurus the authors use a hybrid method based on several linguistic and statistical algorithms for extraction of semantic relations. The method allows to create a thesaurus with a sufficiently large number of terms and relations among them. The authors consider two problems: topical text classification and sentiment classification of large newspaper articles. To solve them, the authors developed two approaches that complement standard algorithms with a procedure that take into account thesaurus relations to determine semantic features of texts. The approach to topical classification includes the standard unsupervised BM25 algorithm and the procedure, that take into account synonymous and hierarchical relations of the thesaurus of the subject area. The approach to sentiment classification consists of two steps. At the first step, a thesaurus is created, whose terms weight polarities are calculated depending on the term occurrences in the training set or on the weights of related thesaurus terms. At the second step, the thesaurus is used to compute the features of words from texts and to classify texts by the algorithm SVM or Naive Bayes. In experiments with text corpora BBCSport, Reuters, PubMed and the corpus of articles about American immigrants, the authors varied the types of thesaurus relations that are involved in the classification and the degree of their use. The results of the experiments make it possible to evaluate the efficiency of the application of thesaurus relations for classification of raw texts and to determine under what conditions certain relationships affect more or less. In particular, the most useful thesaurus connections are synonymous and hierarchical, as they provide a better quality of classification.

 

тезауруссемантические отношениятезаурусные связитематическая классификацияклассификация по тональностиthesaurussemantic relationsthesaurus relationstopical classificationsentiment classificationReferencesMasterman M., “Semantic message detection for machine translation, using an interlingua”, Proc. 1961 International Conf. on Machine Translation, 1961, 438–475.Masterman M., “Semantic message detection for machine translation, using an interlingua”, Proc. 1961 International Conf. on Machine Translation, 1961, 438–475.Loukachevitch N., Dobrov B., “The Sociopolitical Thesaurus as a resource for automatic document processing in Russian”, Terminology, 21:2 (2015), 237–262.Loukachevitch N., Dobrov B., “The Sociopolitical Thesaurus as a resource for automatic document processing in Russian”, Terminology, 21:2 (2015), 237–262.Aitchison J., Clarke S.D., “The thesaurus: a historical viewpoint, with a look to the future”, Cataloging and classification quarterly, 37:3–4 (2004), 5–21.Aitchison J., Clarke S.D., “The thesaurus: a historical viewpoint, with a look to the future”, Cataloging and classification quarterly, 37:3–4 (2004), 5–21.Лукашевич Н. В., Тезаурусы в задачах информационного поиска, Издательство МГУ, М., 2011, 512 с.Lukashevich N. V., Tezaurusy v zadachah informacionnogo poiska, Izdatelstvo MGU, Moskow, 2011, 512 pp., (in Russian).Willis C., Losee R., “A random walk on an ontology: Using thesaurus structure for automatic subject indexing”, Journal of the American Society for Information Science and Technology, 64:7 (2013), 1330–1344.Willis C., Losee R., “A random walk on an ontology: Using thesaurus structure for automatic subject indexing”, Journal of the American Society for Information Science and Technology, 64:7 (2013), 1330–1344.V´allez M., Pedraza-Jim´enez R., Codina L., Blanco S., Rovira C, “A semi-automatic indexing system based on embedded information in HTML documents”, Library Hi Tech, 33:2 (2015), 195–210.V´allez M., Pedraza-Jim´enez R., Codina L., Blanco S., Rovira C, “A semi-automatic indexing system based on embedded information in HTML documents”, Library Hi Tech, 33:2 (2015), 195–210.Loukachevitch N., Nokel M., Ivanov K., Combining Thesaurus Knowledge and Probabilistic Topic Models, 2017, https://arxiv.org/abs/1707.09816.Loukachevitch N., Nokel M., Ivanov K., Combining Thesaurus Knowledge and Probabilistic Topic Models, 2017, https://arxiv.org/abs/1707.09816.Sanchez-Pi N., Mart´ı L. Garcia A. C. B., “Improving ontology-based text classification: An occupational health and security application”, Journal of Applied Logic, 17 (2016), 48–58.Sanchez-Pi N., Mart´ı L. Garcia A. C. B., “Improving ontology-based text classification: An occupational health and security application”, Journal of Applied Logic, 17 (2016), 48–58.Bollegala D., Weir D., Carroll J., “Cross-domain sentiment classification using a sentiment sensitive thesaurus”, IEEE transactions on knowledge and data engineering, 25:8 (2013), 1719–1731.Bollegala D., Weir D., Carroll J., “Cross-domain sentiment classification using a sentiment sensitive thesaurus”, IEEE transactions on knowledge and data engineering, 25:8 (2013), 1719–1731.Sparck Jones K., Walker S., Robertson S.E., “A probabilistic model of information retrieval: development and comparative experiments: Part 2”, Information Processing and Management, 36:6 (2000), 809–840.Sparck Jones K., Walker S., Robertson S.E., “A probabilistic model of information retrieval: development and comparative experiments: Part 2”, Information Processing and Management, 36:6 (2000), 809–840.Лагутина Н. С., Лагутина К. В., Мамедов Э. И., Парамонов И. В., “Методические аспекты выделения семантических отношений для автоматической генерации специализированных тезаурусов и их оценки”, Моделирование и анализ информационных систем, 23:6 (2016), 826–840Lagutina N. S., Lagutina K. V., Mamedov E. I., Paramonov I. V., “Methodological aspects of semantic relationship extraction for automatic thesaurus generation”, Modeling and Analysis of Information Systems, 23:6 (2016), 826–840, (in Russian).Mihalcea R., Tarau P., “TextRank: Bringing order into texts”, Proceedings of Empirical Methods in Natural Language Processing – EMNLP, ACL, Barcelona, Spain, 2004, 404– 411.Mihalcea R., Tarau P., “TextRank: Bringing order into texts”, Proceedings of Empirical Methods in Natural Language Processing – EMNLP, ACL, Barcelona, Spain, 2004, 404– 411.Trieschnigg D., Pezik P., Lee V., De Jong F., Kraaij W., Rebholz-Schuhmann D., “MeSH Up: effective MeSH text classification for improved document retrieval”, Bioinformatics, 25:11 (2009), 1412–1418.Trieschnigg D., Pezik P., Lee V., De Jong F., Kraaij W., Rebholz-Schuhmann D., “MeSH Up: effective MeSH text classification for improved document retrieval”, Bioinformatics, 25:11 (2009), 1412–1418.Aggarwal C., Zhai C., “A survey of text classification algorithms”, Mining text data, Springer-Verlag, New York, 2012, 163–222.Aggarwal C., Zhai C., “A survey of text classification algorithms”, Mining text data, Springer-Verlag, New York, 2012, 163–222.Grimmer J., Stewart B., “Text as data: The promise and pitfalls of automatic content analysis methods for political texts”, Political analysis, 21:3 (2013), 267–297.Grimmer J., Stewart B., “Text as data: The promise and pitfalls of automatic content analysis methods for political texts”, Political analysis, 21:3 (2013), 267–297.Ravi K., Ravi V., “A survey on opinion mining and sentiment analysis: tasks, approaches and applications”, Knowledge-Based Systems, 89 (2015), 14–46.Ravi K., Ravi V., “A survey on opinion mining and sentiment analysis: tasks, approaches and applications”, Knowledge-Based Systems, 89 (2015), 14–46.Junker M., Hoch R., Dengel A., “On the evaluation of document analysis components by recall, precision, and accuracy”, Proceedings of the Fifth International Conference on Document Analysis and Recognition, IEEE, 1999, 713–716.Junker M., Hoch R., Dengel A., “On the evaluation of document analysis components by recall, precision, and accuracy”, Proceedings of the Fifth International Conference on Document Analysis and Recognition, IEEE, 1999, 713–716.

The authors declare that there are no conflicts of interest present.