maisМоделирование и анализ информационных системModeling and Analysis of Information Systems1818-10152313-5417Yaroslavl State University10.18255/1818-1015-2018-4-435-458mais-735Research ArticleОригинальные статьиArticlesРусскоязычные тезаурусы: автоматизированное построение и применение в задачах обработки текстов на естественном языкеRussianLanguage Thesauri: Automated Construction and Application For Natural Language Processing Taskshttps://orcid.org/0000-0002-6137-8643ЛагутинаНадежда СтаниславовнаLagutinaNadezhda S.

канд. физ.-мат. наук, доцент

lagutinans@rambler.ruhttps://orcid.org/0000-0002-1742-3240ЛагутинаКсения ВладимировнаLagutinaKsenia V.

студентка

student

lagutinakv@mail.ruhttps://orcid.org/0000-0002-3073-0982АдриановАлексей СергеевичAdrianovAleksey S.

студент

student

alex.a4.25@yandex.ruhttps://orcid.org/0000-0003-3984-8423ПарамоновИлья ВячеславовичParamonovIlya V.

канд. физ.-мат. наук, доцент

associate professor, PhD

Ilya.Paramonov@fruct.orgЯрославский государственный университет им. П.Г. ДемидоваРоссияP.G. Demidov Yaroslavl State UniversityRussian Federation201827082018254435458Copyright © Лагутина Н.С., Лагутина К.В., Адрианов А.С., Парамонов И.В., 20182018Лагутина Н.С., Лагутина К.В., Адрианов А.С., Парамонов И.В.Lagutina N.S., Lagutina K.V., Adrianov A.S., Paramonov I.V.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://www.mais-journal.ru/jour/article/view/735

В работе выполнен обзор существующих электронных русскоязычных тезаурусов и методов их автоматического построения и применения. Авторы провели анализ основных характеристик тезаурусов, находящихся в открытом доступе, для научных исследований, оценили динамику их развития и эффективность в решении задач по обработке естественного языка. Были исследованы статистические и лингвистические методы построения тезаурусов, которые позволяют автоматизировать разработку и уменьшить затраты на труд экспертов-лингвистов. В частности, рассматривались алгоритмы выделения ключевых терминов из текстов и семантических тезаурусных связей всех типов, а также качество применения получившихся в результате их работы тезаурусов. Для наглядной иллюстрации особенностей различных методов построения тезаурусных связей был разработан комбинированный метод, генерирующий специализированный тезаурус полностью автоматически на основе корпуса текстов предметной области и нескольких существующих лингвистических ресурсов. С использованием предложенного метода были проведены эксперименты с русскоязычными корпусами текстов из двух предметных областей: статьи о мигрантах и твиты. Для анализа полученных тезаурусов использовалась комплексная оценка, разработанная авторами в предыдущем исследовании, которая позволяет определить различные аспекты тезауруса и качество методов его генерации. Проведённый анализ выявил основные достоинства и недостатки различных подходов к построению тезаурусов и выделению семантических связей различных типов, а также позволил определить потенциальные направления будущих исследований.

 

The paper reviews the existing Russian-language thesauri in digital form and methods of their automatic construction and application. The authors analyzed the main characteristics of open access thesauri for scientific research, evaluated trends of their development, and their effectiveness in solving natural language processing tasks. The statistical and linguistic methods of thesaurus construction that allow to automate the development and reduce labor costs of expert linguists were studied. In particular, the authors considered algorithms for extracting keywords and semantic thesaurus relationships of all types, as well as the quality of thesauri generated with the use of these tools. To illustrate features of various methods for constructing thesaurus relationships, the authors developed a combined method that generates a specialized thesaurus fully automatically taking into account a text corpus in a particular domain and several existing linguistic resources. With the proposed method, experiments were conducted with two Russian-language text corpora from two subject areas: articles about migrants and tweets. The resulting thesauri were assessed by using an integrated assessment developed in the previous authors’ study that allows to analyze various aspects of the thesaurus and the quality of the generation methods. The analysis revealed the main advantages and disadvantages of various approaches to the construction of thesauri and the extraction of semantic relationships of different types, as well as made it possible to determine directions for future study.

тезауруссемантические отношенияавтоматическое построение тезаурусаавтоматическое выделение связейвыделение ключевых словthesaurussemantic relationshipsautomatic thesaurus constructionautomatic relationship extractionkeyword extractionReferencesAitchison J., Gilchrist A. and Bawden D., Thesaurus construction and use: a practical manual, Psychology Press, 2000, 230 pp.Aitchison J., Gilchrist A. and Bawden D., Thesaurus construction and use: a practical manual, Psychology Press, 2000, 230 pp.Сидорова Е. А., “Подход к моделированию процесса извлечения информации из текста на основе онтологии”, Онтология проектирования, 8:1(27) (2018), 134– 151Sidorova E. A., “Ontology-based approach to modeling the process of extracting information from text”, Ontology of design, 8:1(27) (2018), 134–151, (in Russian).Еленевская М. Н., Овчинникова И. Г., “Хранение и описание вербальных ассоциаций: словари и тезаурусы”, Вопросы психолингвистики, 2016, № 29, 69–92Yelenevskaya M. N., Ovchinnikova I. G., “The storage and description of the verbal associations”, Questions of psycholinguistics, 2016, № 29, 69–92, (in Russian).Paramonov I. et al., “Thesaurus-Based Method of Increasing Text-via-Keyphrase Graph Connectivity During Keyphrase Extraction for e-Tourism Applications”, Communications in Computer and Information Science, 649, Springer, 2016, 129–141.Paramonov I. et al., “Thesaurus-Based Method of Increasing Text-via-Keyphrase Graph Connectivity During Keyphrase Extraction for e-Tourism Applications”, Communications in Computer and Information Science, 649, Springer, 2016, 129–141.Shchitov I., Lagutina K., Lagutina N., Paramonov I., “Sentiment classification of long newspaper articles based on automatically generated thesaurus with various semantic relationships”, Proceedings of the 21st Conference of Open Innovations Association FRUCT, University of Helsinki, Helsinki, Finland, 2017, 290–295.Shchitov I., Lagutina K., Lagutina N., Paramonov I., “Sentiment classification of long newspaper articles based on automatically generated thesaurus with various semantic relationships”, Proceedings of the 21st Conference of Open Innovations Association FRUCT, University of Helsinki, Helsinki, Finland, 2017, 290–295.Бленда Н. А., “Обзор русскоязычных тезаурусов для решения задачи расчета семантической близости между научными публикациями”, Информационные технологии и системы, Труды Четвертой Международной научной конференции, 2015, 70–74;Blenda N. A., “Overview of russian-language thesauri to solve the problem of calculating the semantic similarity for scientific publications”, Information Technologies and Systems, Proceedings of the Fourth International Scientific Conference, 2015, 70–74, (in Russian).Поршнев С. В., “О качестве открытых электронных тезаурусов русского языка”, Сборник материалов Всероссийской молодежной школы-семинара «Актуальные проблемы информационных технологий, электроники и радиотехники – 2015» (ИТЭР –2015), 2 (2015), 45–48;Porshnev S. V., “O kachestve otkrytyh ehlektronnyh tezaurusov russkogo yazyka”, Sbornik materialov Vserossijskoj molodezhnoj shkolyseminara Aktualnye problemy informacionnyh tekhnologij, ehlektroniki i radiotekhniki – 2015 (ITER –2015), 2 (2015), 45–48, (in Russian).Loukachevitch N., Dobrov B., “RuThes linguistic ontology vs. Russian wordnets”, Proceedings of the Seventh Global WordNet Conference, 2014, 154–162.Loukachevitch N., Dobrov B., “RuThes linguistic ontology vs. Russian wordnets”, Proceedings of the Seventh Global WordNet Conference, 2014, 154–162.Loukachevitch N., Dobrov B., Chetviorkin I., “RuThes-Lite, a publicly available version of Thesaurus of Russian language RuThes”, Computational Linguistics and Intellectual Technologies: papers from the Annual conference ”Dialogue”, 2014, № 13(20), 340–349.Loukachevitch N., Dobrov B., Chetviorkin I., “RuThes-Lite, a publicly available version of Thesaurus of Russian language RuThes”, Computational Linguistics and Intellectual Technologies: papers from the Annual conference ”Dialogue”, 2014, № 13(20), 340–349.Loukachevitch N. V., Lashevich G., Gerasimova A. A., Ivanov V. V., Dobrov B. V., “Creating Russian WordNet by conversion”, Computational Linguistics and Intellectual Technologies: papers from the Annual conference ”Dialogue”, 2016, № 15(22), 405–415.Loukachevitch N. V., Lashevich G., Gerasimova A. A., Ivanov V. V., Dobrov B. V., “Creating Russian WordNet by conversion”, Computational Linguistics and Intellectual Technologies: papers from the Annual conference ”Dialogue”, 2016, № 15(22), 405–415.Braslavski P., Ustalov D., Mukhin M., Kiselev Y., “YARN: Spinning-in-Progress”, Proceedings of the Eight Global Wordnet Conference, 2016, 58–65.Braslavski P., Ustalov D., Mukhin M., Kiselev Y., “YARN: Spinning-in-Progress”, Proceedings of the Eight Global Wordnet Conference, 2016, 58–65.Сухоногов А. М., Яблонский С. А., “Автоматизация построения англо-русского WordNet”, Компьютерная лингвистика и интеллектуальные технологии, Труды Международного семинара "Диалог", 2005, 25–31;Suhonogov A. M., Yablonskij S. A., “Avtomatizaciya postroeniya anglo-russkogo WordNet”, Computational Linguistics and Intellectual Technologies, Papers from the Annual conference ”Dialogue”, 2005, 25–31, (in Russian).Azarowa I., “RussNet as a computer lexicon for Russian”, Proceedings of the Intelligent Information systems IIS-2008, 2008, 341–350.Azarowa I., “RussNet as a computer lexicon for Russian”, Proceedings of the Intelligent Information systems IIS-2008, 2008, 341–350.Азарова И. В., Захаров В. П., Киселев Ю., Усталов Д. А., Хохлова М. В., “Интеграция тезаурусов RussNet и YARN”, Компьютерная лингвистика и вычислительные онтологии, Труды XIX Международной объединённой научной конференции «Интернет и современное общество» (IMS-2016), Санкт-Петербург, 22–24 июня 2016 г., Университет ИТМО, СПб, 2016, 7–13;Azarova I. V., Zaharov V. P., Kiselev YU., Ustalov D. A., Hohlova M. V., “Integraciya tezaurusov RussNet i YARN”, Kompyuternaya lingvistika i vychislitelnye ontologii, Trudy XIX Mezhdunarodnoj objedinyonnoj nauchnoj konferencii Internet i sovremennoe obshchestvo (IMS-2016), Sankt-Peterburg, 22–24 iyunya 2016 g., Universitet ITMO, SPb, 2016, 7–13, (in Russian).Сладкова О., Пирумова Л., Пирумов А., “Информационные ресурсы Интернет для специалистов сельского хозяйства”, Международный сельскохозяйственный журнал, 2016, № 2, 44–48;Sladkova O., Pirumova L., Pirumov A., “Informacionnye resursy Internet dlya specialistov selskogo hozyajstva”, International Agricultural Journal, 2016, № 2, 44–48, (in Russian).Галиева А. М., Якубова Д. Д., “Принципы представления лексики в общественнополитическом тезаурусе татарского языка”, Филологические науки. Вопросы теории и практики, 2016, № 12-2 (66), 80–84;Galieva A. M., Yakubova D. D., “Principles of vocabulary presentation in socio-political thesaurus of the tatar language”, Philological Sciences. Questions of theory and practice, 2016, № 12-2 (66), 80–84, (in Russian).Галиева А. М., Кириллович А. В., Лукашевич Н. В., Невзорова О. А., Сулейманов Д.Ш., Якубова Д. Д., “Русско-татарский общественно-политический тезаурус: публикация в облаке лингвистических открытых связанных данных”, International Journal of Open Information Technologies, 5:11 (2017), 64–73;Galieva A. M., Kirillovich A. V., Lukashevich N. V., Nevzorova O. A., Sulejmanov D. SH., YAkubova D. D., “Russian-tatar socio-political thesaurus: publishing in the linguistic linked open data cloud”, International Journal of Open Information Technologies, 5:11 (2017), 64–73, (in Russian).Агеев М. С., Добров Б. В., Лукашевич Н. В., “Автоматическая рубрикация текстов: методы и проблемы”, Учён. зап. Казан. гос. ун-та. Сер. Физ.-матем. науки, 150:4 (2008), 25–40;Ageev M. S., Dobrov B. V., Lukashevich N. V., “Automatic Text Categorization: Methods and Problems”, Kazan. Gos. Univ. Uchen. Zap. Ser. Fiz.-Mat. Nauki, 150:4 (2008), 25–40, (in Russian).Лукашевич Н. В., Добров Б. В., Павлов А. М., Штернов С. В., “Онтологические ресурсы и информационно-аналитическая система в предметной области «Безопасность»”, Онтология проектирования, 8:1 (27) (2018), 74–95;Lukashevich N. V., Dobrov B. V., Pavlov A. M., SHternov S. V., “Ontological resources and information-analytical system in security domain”, Ontology of design, 8:1 (27) (2018), 74–95, (in Russian).Мишунин О. Б., Савинов А. П., Фирстов Д. И., “Проблемы, возникающие в интеллектуальных обучающих системах при оценке ответов на естественном языке”, Современные проблемы науки и образования, 2015, № 2–2, 189–199;Mishunin O. B., Savinov A. P., Firstov D. I., “Problems of automatic free-text answer grading in intelligent tutoring systems”, Modern problems of science and education, 2015, № 2–2, 189–199, (in Russian).Алексеев А. А., “Тематический анализ новостного кластера как основа тематического аннотирования”, Программная инженерия, 2014, № 3, 41–48;Alekseev A. A., “Thematic representation of a news cluster as a basis for summarization”, Software Engineering, 2014, № 3, 41–48, (in Russian).Усталов Д. А., “Обнаружение понятий в графе синонимов”, Вычислительные технологии, 22:S1 (2017), 99–112;Ustalov D. A., “Concept discovery from synonymy graphs”, Computational Technologies, 22:S1 (2017), 99–112, (in Russian).Kolchin M., Chistyakov A., Lapaev M., Khaydarova R., “FOODpedia: Russian food products as a linked data dataset”, International Semantic Web Conference, 2015, 87– 09.Kolchin M., Chistyakov A., Lapaev M., Khaydarova R., “FOODpedia: Russian food products as a linked data dataset”, International Semantic Web Conference, 2015, 87– 09.Hasan K., Vincent N., “Automatic keyphrase extraction: A survey of the state of the art”, Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics, 2014, 1262–1273.Hasan K., Vincent N., “Automatic keyphrase extraction: A survey of the state of the art”, Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics, 2014, 1262–1273.Добров Б. В., Лукашевич Н. В., “Лингвистическая онтология по естественным наукам и технологиям для приложений в сфере информационного поиска”, Учен. зап. Казан. гос. ун-та. Сер. Физ.-матем. науки, 149:2 (2007), 49–72;Dobrov B. V., Lukashevich N. V., “Linguistic ontology on natural sciences and technologies for information-retrieval applications”, Kazan. Gos. Univ. Uchen. Zap. Ser. Fiz.-Mat. Nauki, 149:2 (2007), 49–72, (in Russian).Лукашевич Н. В., Добров Б. В., Чуйко Д. С., “Отбор словосочетаний для словаря системы автоматической обработки текстов”, Компьютерная лингвистика и интеллектуальные технологии: Тр. Международной конференции "Диалог", 2008, № 7(14), 339–344;Lukashevich N. V., Dobrov B. V., Chujko D. S., “Automated analysis of multiword expressions for computational dictionaries”, Computational Linguistics and Intellectual Technologies: Papers from the Annual International Conference ”Dialogue”, 2008, № 7(14), 339–344, (in Russian).Turney P. D., Pantel P., “From frequency to meaning: Vector space models of semantics”, Journal of artificial intelligence research, 37 (2010), 141–188.Turney P. D., Pantel P., “From frequency to meaning: Vector space models of semantics”, Journal of artificial intelligence research, 37 (2010), 141–188.Захаров В. П., “Корпусно-ориентированный подход к построению тезаурусов и онтологий”, Структурная и прикладная лингвистика, 2015, № 11, 123–141;Zakharov V. P., “Corpus-based approach to thesaurus and ontology construction”, Structural and applied linguistics, 2015, № 11, 123–141, (in Russian).Котова Е. Е., Писарев И. А., “Построение тематических онтологий с применением метода автоматизированной разработки тезаурусов”, Известия СПбГЭТУ «ЛЭТИ», 2016, № 3, 37–47;Kotova E. E., Pisarev I. A., “Construction of thematic ontologies using the method of automated thesauri development”, Proceedings of Saint Petersburg Electrotechnical University, 2016, № 3, 37–47, (in Russian).Аюшеева Н. Н., Кушеева Т. Н., “Способ вычисления весовых коэффициентов вершин семантической сети научного текста”, Фундаментальные исследования, 2012, № 6-3, 626–630;Ayusheeva N.N., Kusheeva T.N., “Method of calculation of weight factors tops semantic network scientific text”, Fundamental Research, 2012, № 6-3, 626–630, (in Russian).Аюшеева Н. Н., Гомбожапова Т. Н., Доржаев Т. В., “Способ автоматического определения тематики научного текста”, Фундаментальные исследования, 2016, № 8-2, 229–233;Ayusheeva N. N., Gombozhapova T. N., Dorzhaev T. V., “An automatic scientific text topic identification method”, Fundamental Research, 2016, № 8-2, 229–233, (in Russian).Chetviorkin I, Loukachevitch N., “Extraction of Russian sentiment lexicon for product meta-domain”, Proceedings of COLING 2012, 2012, 593–610. [33] Loukachevitch N., Levchik A., “Creating a General Russian Sentiment Lexicon”, Proceedings of Language Resources and Evaluation Conference, 2016, 1171–1176.Chetviorkin I, Loukachevitch N., “Extraction of Russian sentiment lexicon for product meta-domain”, Proceedings of COLING 2012, 2012, 593–610.Ванюшкин А. С., Гращенко Л. А., “Оценка алгоритмов извлечения ключевых слов: инструментарий и ресурсы”, Новые информационные технологии в автоматизированных системах, 20 (2017), 95–102Loukachevitch N., Levchik A., “Creating a General Russian Sentiment Lexicon”, Proceedings of Language Resources and Evaluation Conference, 2016, 1171–1176.Лукашевич Н. В., Логачев Ю. М., “Комбинирование признаков для автоматического извлечения терминов”, Вычислительные методы и программирование, 11:4 (2010), 108–116Vanyushkin A. S., Grashchenko L. A., “Ocenka algoritmov izvlecheniya klyuchevyh slov: instrumentarij i resursy”, Novye informacionnye tekhnologii v avtomatizirovannyh sistemah, 20 (2017), 95–102, (in Russian)Лагутина Н. С., Лагутина К. В., Мамедов Э. И., Парамонов И. В., “Методические аспекты выделения семантических отношений для автоматической генерации специализированных тезаурусов и их оценки”, Моделирование и анализ информационных систем, 23:6 (2016), 826–840Lukashevich N. V., Logachev YU. M., “Automatic term extraction based on feature combination”, Vychislitel’nye metody i programmirovanie, 11:4 (2010), 108–116, (in Russian)Лукашевич Н. В., “Квазисинонимы в лингвистических онтологиях”, Компьютерная лингвистика и интеллектуальные технологии: По материалам ежегодной Международной конференции "Диалог", 2010, № 9(16), 307–312Lagutina N. S., Lagutina K. V., Mamedov E. I., Paramonov I. V., “Methodological aspects of semantic relationship extraction for automatic thesaurus generation”, Modeling and Analysis of Information Systems, 23:6 (2016), 826–840, (in Russian)Лукашевич Н. В., “Моделирование отношений ЧАСТЬ–ЦЕЛОЕ в лингвистическом ресурсе для информационно-поисковых приложений”, Информационные технологии, 2007, № 12, 28–34Lukashevich N. V., “Near-synonyms in linguistic ontologies”, Computational Linguistics and Intellectual Technologies. Papers from the Annual International Conference ”Dialogue”, 2010, № 9(16), 307–312, (in Russian)Баранюк В. В., Богорадникова А. В., Смирнова О. С., “Определение семантического содержания предметной области на основе формирования тезауруса”, International Journal of Open Information Technologies, 4:9 (2016), 74–79Lukashevich N. V., “Modeling of PART–WHOLE Relations in Linguistic Resource for Information-Retrieval Applications”, Information Technology, 2007, № 12, 28–34, (in Russian)Нугуманова А. Б., Бессмертный И. А., Пецина П., Байбурин Е. М., “Обогащение модели Bag-of-Words семантическими связями для повышения качества классификации текстов предметной области”, Программные продукты и системы, 2016, № 2(114), 89– 99;Baranjuk V.V., Bogoradnikova A.V., Smirnova O.S., “Defining the scope semantics by forming its thesaurus”, International Journal of Open Information Technologies, 4:9 (2016), 74–79, (in Russian)Panchenko A., Ustalov D., Arefyev N., Paperno D., Konstantinova N., Loukachevitch N., Biemann C., “Human and machine judgements for russian semantic relatedness”, Analysis of Images, Social Networks and Texts. 5th International Conference, AIST 2016, Springer, 2016, 221–235.Nugumanova A. B., Bessmertnyj I. A., Pecina P., Bajburin E. M., “Semantic relations in text classification based on bag-of-words model”, Software products and systems, 2016, № 2(114), 89–99, (in Russian)Rapp R., “The automatic generation of thesauri of related words for English, French, German, and Russian”, International Journal of Speech Technology, 11:3–4 (2008), 147– 156.Panchenko A., Ustalov D., Arefyev N., Paperno D., Konstantinova N., Loukachevitch N., Biemann C., “Human and machine judgements for russian semantic relatedness”, Analysis of Images, Social Networks and Texts. 5th International Conference, AIST 2016, Springer, 2016, 221–235.Галина И. В., Козеренко Е. Б., Морозова Ю. И., Сомин Н. В., Шарнин М. М., “Ассоциативные портреты предметной области—инструмент автоматизированного построения систем big data для извлечения знаний: теория, методика, визуализация, возможное применение”, Информатика и её применения, 9:2 (2015), 92–110Rapp R., “The automatic generation of thesauri of related words for English, French, German, and Russian”, International Journal of Speech Technology, 11:3–4 (2008), 147– 156.Kuznetsov I. P., Kozerenko E. B., Charnine M. M., “Technological peculiarity of knowledge extraction for logical-analytical systems”, Proceedings of ICAI, 12, 2012, 18–21.Galina I. V., Kozerenko E. B., Morozova Yu. I., Somin N. V., Sharnin M. M., “Associative portraits of subject areas as a tool for automated construction of big data systems for knowledge extraction: theory, methods, visualization, and application”, Informatics and its Applications, 9:2 (2015), 92–110, (in Russian).Золотарев О. В., Шарнин М. М., “Методы извлечения знаний из текстов естественного языка и построение моделей бизнес-процессов на основе выделения процессов, объектов, их связей и характеристик”, Труды Международной научной конференции CPT2014, 2015, 92–98Kuznetsov I. P., Kozerenko E. B., Charnine M. M., “Technological peculiarity of knowledge extraction for logical-analytical systems”, Proceedings of ICAI, 12, 2012, 18–21.Золотарев О. В., Шарнин М. М., Клименко С. В., “Семантический подход к анализу террористической активности в сети Интернет на основе методов тематического моделирования”, Вестник Российского нового университета. Серия: Сложные системы: модели, анализ и управление, 2016, № 3, 64–71Zolotarev O. V., Charnin M. M., “Methods of extracting knowledge from natural language texts and the construction of models of business processes on the basis of allocation processes, objects, their relationships and characteristics”, Proceedings of the International Scientific Conference CPT2014, 2015, 92–98, (in Russian)Лагутина Н. С., Лагутина К. В., Щитов И. А., Парамонов И. В., “Анализ использования различных типов связей между терминами тезауруса, сгенерированного с помощью гибридных методов, в задачах классификации текстов”, Моделирование и анализ информационных систем, 24:6 (2017), 772–787Zolotarev O. V., Charnin M. M., Klimenko S. V., “A semantic approach to the analysis of terrorist activity on the internet based on the methods of topic modeling”, Bulletin of the Russian New University. Series: Complex systems: models, analysis and management, 2016, № 3, 64–71, (in Russian).Sabirova K., Lukanin A., “Automatic Extraction of Hypernyms and Hyponyms from Russian Texts”, Supplementary Proceedings of the 3rd International Conference on Analysis of Images, Social Networks and Texts (AIST’2014), 2014, 35–40.Lagutina N. S., Lagutina K. V., Shchitov I. A., Paramonov I. V., “Analysis of Influence of Different Relations Types on the Quality of Thesaurus Application to Text Classification Problems”, Modeling and Analysis of Information Systems, 24:6 (2017), 772–787, (in Russian).Большакова Е. И., Иванов К. М., Сапин А. С., Шариков Г. Ф., “Система для извлечения информации из текстов на базе лексико-синтаксических шаблонов”, Пятнадцатая национальная конференция по искусственному интеллекту с международным участием, 2016, 14–22Sabirova K., Lukanin A., “Automatic Extraction of Hypernyms and Hyponyms from Russian Texts”, Supplementary Proceedings of the 3rd International Conference on Analysis of Images, Social Networks and Texts (AIST’2014), 2014, 35–40.Рабчевский Е. А., “Автоматическое построение онтологий на основе лексикосинтаксических шаблонов для информационного поиска”, Электронные библиотеки: перспективные методы и технологии, электронные коллекции, сб. науч. тр. 11-й Всероссийской научной конференции RCDL-2009, Петрозаводск, 2009, 69–77Bol’shakova E. I., Ivanov K. M., Sapin A. S., SHarikov G. F., “Sistema dlya izvlecheniya informacii iz tekstov na baze leksikosintaksicheskih shablonov”, Pyatnadcataya nacionalnaya konferenciya po iskusstvennomu intellektu s mezhdunarodnym uchastiem, 2016, 14–22, (in Russian).Mihalcea R., Tarau P., “TextRank: Bringing order into texts”, Proceedings of Empirical Methods in Natural Language Processing – EMNLP, ACL, Barcelona, Spain, 2004, 404– 411.Rabchevskij E. A., “Avtomaticheskoe postroenie ontologij na osnove leksiko-sintaksicheskih shablonov dlya informacionnogo poiska”, Elektronnye biblioteki: perspektivnye metody i tekhnologii, ehlektronnye kollekcii, sb. nauch. tr. 11-j Vserossijskoj nauchnoj konferencii RCDL-2009, Petrozavodsk, 2009, 69–77, (in Russian).Wiemer-Hastings P., Wiemer-Hastings K., Graesser A., “Latent semantic analysis”, Proceedings of the 16th international joint conference on Artificial intelligence, 2004, 1–14.Mihalcea R., Tarau P., “TextRank: Bringing order into texts”, Proceedings of Empirical Methods in Natural Language Processing – EMNLP, ACL, Barcelona, Spain, 2004, 404– 411.Noh S., Kim S., Jung C., “A Lightweight Program Similarity Detection Model using XML and Levenshtein Distance”, FECS, 2006, 3–9.Wiemer-Hastings P., Wiemer-Hastings K., Graesser A., “Latent semantic analysis”, Proceedings of the 16th international joint conference on Artificial intelligence, 2004, 1–14.Lefever E., Van de Kauter M., Hoste V., “Evaluation of automatic hypernym extraction from technical corpora in English and Dutch”, 9th International Conference on Language Resources and Evaluation (LREC), 2014, 490–497.Noh S., Kim S., Jung C., “A Lightweight Program Similarity Detection Model using XML and Levenshtein Distance”, FECS, 2006, 3–9.Lefever E., Van de Kauter M., Hoste V., “Evaluation of automatic hypernym extraction from technical corpora in English and Dutch”, 9th International Conference on Language Resources and Evaluation (LREC), 2014, 490–497.Lefever E., Van de Kauter M., Hoste V., “Evaluation of automatic hypernym extraction from technical corpora in English and Dutch”, 9th International Conference on Language Resources and Evaluation (LREC), 2014, 490–497.

The authors declare that there are no conflicts of interest present.