maisМоделирование и анализ информационных системModeling and Analysis of Information Systems1818-10152313-5417Yaroslavl State University10.18255/1818-1015-2016-6-826-840mais-417Research ArticleОригинальные статьиArticlesМетодические аспекты выделения семантических отношений для автоматической генерации специализированных тезаурусов и их оценкиMethodolo- gical Aspects of Semantic Relationship Extraction for Automatic Thesaurus Generationhttps://orcid.org/0000-0002-6137-8643ЛагутинаН. С.LagutinaN. S.

канд. физ.-мат. наук, доцент, ул. Советская, 14, г. Ярославль, 150000 Россия 

PhD, 14 Sovetskaya str., Yaroslavl 150000, Russia

lagutinans@rambler.ruhttps://orcid.org/0000-0002-1742-3240ЛагутинаК. В.LagutinaK. V.

студент, ул. Советская, 14, г. Ярославль, 150000 Россия

student, 14 Sovetskaya str., Yaroslavl 150000, Russia

lagutinakv@mail.ruhttps://orcid.org/0000-0003-1997-7084МамедовЭ. И.MamedovE. I.

стажёр-исследователь, ул. Советская, 14, г. Ярославль, 150000 Россия

intern researcher, 14 Sovetskaya str., Yaroslavl 150000, Russia

eldarmamedov90@gmail.comhttps://orcid.org/0000-0003-3984-8423ПарамоновИ. В.ParamonovI. V.

канд. физ.-мат. наук, доцент, ул. Советская, 14, г. Ярославль, 150000 Россия

PhD, 14 Sovetskaya str., Yaroslavl 150000, Russia

Ilya.Paramonov@fruct.orgЯрославский государственный университет им. П.Г. ДемидоваРоссияP.G. Demidov Yaroslavl State UniversityRussian Federation201620122016236826840Copyright © Лагутина Н.С., Лагутина К.В., Мамедов Э.И., Парамонов И.В., 20162016Лагутина Н.С., Лагутина К.В., Мамедов Э.И., Парамонов И.В.Lagutina N.S., Lagutina K.V., Mamedov E.I., Paramonov I.V.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://www.mais-journal.ru/jour/article/view/417

Работа посвящена анализу методов автоматической генерации специализированного тезауруса. Основной алгоритм генерации состоит из трех шагов: отбор и предварительная обработка корпуса текстов, формирование множества терминов для включения в тезаурус и выделение связей между терминами тезауруса. Данное исследование сфокусировано на изучении методов выделения семантических связей, для чего авторами был разработан программный стенд, который позволяет протестировать распространенные алгоритмы выделения гиперонимов и синонимов, использующие в своей работе лексико-синтаксические шаблоны, морфо-синтаксические правила, количество информации терминов, тезаурус общего назначения WordNet и расстояние Левенштейна. Для анализа результирующего тезауруса, созданного на стенде, авторами была разработана комплексная оценка, содержащая следующие характеристики качества: точность выделения терминов, точность и полнота выделения синонимических и гиперонимических связей, а также метрики графа тезауруса (количество выделенных терминов, количество семантических связей различных типов, число компонент связности и число вершин в наибольшей компоненте). Предлагаемый набор метрик позволяет оценить качество тезауруса в целом, выявить отдельные недостатки стандартных методов выделения связей и построить более эффективные гибридные методы, генерирующие тезаурус с лучшими характеристиками по сравнению с тезаурусами, генерируемыми при использовании отдельных методов. Для иллюстрации данного факта в статье рассмотрен один из таких гибридных методов. Он комбинирует лучшие стандартные алгоритмы построения гиперонимических и синонимических связей и строит специализированный тезаурус в области медицины с тем же уровнем качества, что и другие методы, но с большим количеством связей между терминами.

The paper is devoted to analysis of methods for automatic generation of a specialized thesaurus. The main algorithm of generation consists of three stages: selection and preprocessing of a text corpus, recognition of thesaurus terms, and extraction of relations among terms. Our work is focused on exploring methods for semantic relation extraction. We developed a test bench that allow to test well-known algorithms for extraction of synonyms and hypernyms. These algorithms are based on different relation extraction techniques: lexico-syntactic patterns, morpho-syntactic rules, measurement of term information quantity, general-purpose thesaurus WordNet, and Levenstein distance. For analysis of the result thesaurus we proposed a complex assessment that includes the following metrics: precision of extracted terms, precision and recall of hierarchical and synonym relations, and characteristics of the thesaurus graph (the number of extracted terms and semantic relationships of different types, the number of connected components, and the number of vertices in the largest component). The proposed set of metrics allows to evaluate the quality of the thesaurus as a whole, reveal some drawbacks of standard relation extraction methods, and create more efficient hybrid methods that can generate thesauri with better characteristics than thesauri generated by using separate methods. In order to illustrate this fact, one of such hybrid methods is considered in the paper. It combines the best standard algorithms for hypernym and synonym extraction and generates a specialized medical thesaurus. The hybrid method leaves the thesaurus quality on the same level and finds more relations between terms than well-known algorithms.

тезауруссемантические отношениягибридный методкомплексная оценкапрограммный стендthesaurussemantic relationshybrid methodcomplex assessmenttest benchReferencesAitchison J., Gilchrist A. and Bawden D., Thesaurus construction and use: a practical manual, Psychology Press, 2000, 230 pp.Aitchison J., Gilchrist A. and Bawden D., Thesaurus construction and use: a practical manual, Psychology Press, 2000, 230 pp.Лукашевич Н.В., Добров Б.В., “Проектирование лингвистических онтологий для информационных систем в широких предметных областях”, Онтология проектирования, 5:1(15) (2015), 47–69.Loukachevitch N. V., Dobrov B. V., “Developing Linguistic Ontologies in Broad Domains”, Ontology of Designing, 5:1(15) (2015), 47–69, (in Russian).Лукашевич Н.В., Тезаурусы в задачах информационного поиска, Издательство МГУ, M., 2011, 512 с.Lukashevich N. V., Tezaurusy v zadachah informacionnogo poiska, Izdatelstvo MGU, Moskow, 2011, 512 pp., (in Russian).Astrakhantsev N. A., Turdakov D. Yu., “Automatic construction and enrichment of informal ontologies: A survey”, Programming and computer software, 39:1 (2013), 34–42.Astrakhantsev N. A., Turdakov D. Yu., “Automatic construction and enrichment of informal ontologies: A survey”, Programming and computer software, 39:1 (2013), 34–42.Hasan K. S., Ng V., “Automatic Keyphrase Extraction: A Survey of the State of the Art”, Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics, 2014, 1262–1273.Hasan K. S., Ng V., “Automatic Keyphrase Extraction: A Survey of the State of the Art”, Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics, 2014, 1262–1273.Paramonov I. et al., “Thesaurus-Based Method of Increasing Text-via-Keyphrase Graph Connectivity During Keyphrase Extraction for e-Tourism Applications”, International Conference on Knowledge Engineering and the Semantic Web, 2016, 129–141.Paramonov I. et al., “Thesaurus-Based Method of Increasing Text-via-Keyphrase Graph Connectivity During Keyphrase Extraction for e-Tourism Applications”, International Conference on Knowledge Engineering and the Semantic Web, 2016, 129–141.Yang D., Powers D.M˙ ., “Automatic thesaurus construction”, Proceedings of the thirty-first Australasian conference on Computer science, 74 (2008), 147–156.Yang D., Powers D.M˙ ., “Automatic thesaurus construction”, Proceedings of the thirty-first Australasian conference on Computer science, 74 (2008), 147–156.Mihalcea R., Tarau P., “TextRank: Bringing order into texts”, Proceedings of EMNLP, 2004, 404–411.Mihalcea R., Tarau P., “TextRank: Bringing order into texts”, Proceedings of EMNLP, 2004, 404–411.Liu Z. et al., “Automatic keyphrase extraction via topic decomposition”, Proceedings of the 2010 Conference on Empirical Methods in Natural Language Processing, 2010, 366–376.Liu Z. et al., “Automatic keyphrase extraction via topic decomposition”, Proceedings of the 2010 Conference on Empirical Methods in Natural Language Processing, 2010, 366–376.Wiemer-Hastings P., Wiemer-Hastings K., Graesser A., “Latent semantic analysis”, Proceedings of the 16th international joint conference on Artificial intelligence, 2004, 1–14.Wiemer-Hastings P., Wiemer-Hastings K., Graesser A., “Latent semantic analysis”, Proceedings of the 16th international joint conference on Artificial intelligence, 2004, 1–14.Lefever E., Van de Kauter M., Hoste V., “Evaluation of automatic hypernym extraction from technical corpora in English and Dutch”, 9th International Conference on Language Resources and Evaluation (LREC), 2014, 490–497.Lefever E., Van de Kauter M., Hoste V., “Evaluation of automatic hypernym extraction from technical corpora in English and Dutch”, 9th International Conference on Language Resources and Evaluation (LREC), 2014, 490–497.Oakes M. P., “Using Hearst’s Rules for the Automatic Acquisition of Hyponyms for Mining a Pharmaceutical Corpus”, RANLP Text Mining Workshop, 5 (2005), 63–67.Oakes M. P., “Using Hearst’s Rules for the Automatic Acquisition of Hyponyms for Mining a Pharmaceutical Corpus”, RANLP Text Mining Workshop, 5 (2005), 63–67.Noh S., Kim S., Jung C., “A Lightweight Program Similarity Detection Model using XML and Levenshtein Distance”, FECS, 2006, 3–9.Noh S., Kim S., Jung C., “A Lightweight Program Similarity Detection Model using XML and Levenshtein Distance”, FECS, 2006, 3–9.Мозжерина Е.С., “Автоматическое построение онтологии по коллекции текстовых документов”, Электронные библиотеки: Перспективные Методы и Технологии, Электронные коллекции–RCDL, 2011, 293–298.Mozzherina E. S., “Ehlektronnye biblioteki: Perspektivnye Metody i Tekhnologii, Ehlektronnye kollekcii–RCDL”, 2011, 293– 298, (in Russian).]Mittelu V. B., “Automatic Extraction of Patterns Displaying Hyponym-Hypernym Co-Occurrence from Corpora”, Proceedings of First Central European Student Conference in Linguistics, 2006, 21, 8 pp.Mittelu V. B., “Automatic Extraction of Patterns Displaying Hyponym-Hypernym Co-Occurrence from Corpora”, Proceedings of First Central European Student Conference in Linguistics, 2006, 21, 8 pp.

The authors declare that there are no conflicts of interest present.