Модель текста для автоматической оценки делового письма на заданную тему

В статье описана модель текста, предназначенная для автоматической оценки связного текста в виде письма на заданную тему. Параметры оценки сформулированы и формализованы в виде 14 критериев при помощи экспертов в области обучения английскому языку. Критерии включают параметры, относящиеся к анализу лексики, включая особенности предметной области, тематики текста, стилю и формату письма, средствам логической связи предложений. Авторами разработаны алгоритмы определения соответствующих числовых характеристик с использованием методов и инструментов автоматического анализа текстов. Алгоритмы основаны на анализе состава и структуры предложений, для чего используются, в том числе данные специализированных словарей. Характеристики ориентированы на проверку электронного делового письма, но могут быть адаптированы к анализу других письменных текстов, например, с помощью замены словарей. На основе разработанных алгоритмов создана система автоматической оценки текстов. Проведён эксперимент по анализу результатов работы этой системы на корпусе из 20 текстов, предварительно размеченных преподавателями английского языка. Автоматическая оценка и оценка экспертов сравнивались с помощью тепловых карт и технологии двумерного представления векторов UMAP, применённой к характеристическим векторам текстов. В большинстве случаев не было выявлено значимых различий между этими оценками, кроме того, автоматическая оценка оказалась более объективной. Таким образом, разработанная модель успешно справилась с поставленной задачей и может применяться для оценки текстов, написанных человеком. Результаты будут использованы в проекте автоматического построения языкового профиля учащегося. Достоинствами модели являются хорошая интерпретируемость получаемых результатов, объективность, перспективы развития.

1. A. Al-Bargi, "Exploring Online Writing Assessment Amid Covid-19: Challenges and Opportunities from Teachers’ Perspectives”, Arab World English Journal, pp. 3-21, 2022.

2. N. P. Soboleva and M. A. Nilova, "Obuchenie pis’mu studentov gumanitarnyh special’nostej s ispol’zovaniem sovremennyh obrazovatel’nyh tekhnologij”, Kazanskij vestnik molodyh uchyonyh, vol. 2, no. 5 (8), pp. 57-59, 2018.

3. M. Fareed, A. Ashraf, and M. Bilal, "ESL learners’ writing skills: Problems, factors and suggestions”, Journal of education and social sciences, vol. 4, no. 2, pp. 81-92, 2016.

4. K. N. A. Al-Mwzaiji and A. A. F. Alzubi, "Online self-evaluation: the EFL writing skills in focus”, Asian-Pacific Journal of Second and Foreign Language Education, vol. 7, no. 1, pp. 1-16, 2022.

5. M. A. Hussein, H. Hassan, and M. Nassef, "Automated language essay scoring systems: A literature review”, PeerJ Computer Science, vol. 5, e208, 2019.

6. H. John Bernardin, S. Thomason, M. Ronald Buckley, and J. S. Kane, "Rater rating-level bias and accuracy in performance appraisals: The impact of rater personality, performance management competence, and rater accountability”, Human Resource Management, vol. 55, no. 2, pp. 321-340, 2016.

7. Z. Ke and V. Ng, "Automated Essay Scoring: A Survey of the State of the Art.”, in IJCAI, vol. 19, 2019, pp. 6300-6308.

8. M. Uto, "A review of deep-neural automated essay scoring models”, Behaviormetrika, vol. 48, no. 2, pp. 459-484, 2021.

9. S. Vajjala, "Automated assessment of non-native learner essays: Investigating the role of linguistic features”, International Journal of Artificial Intelligence in Education, vol. 28, no. 1, pp. 79-105, 2018.

10. K. Taghipour and H. T. Ng, "A neural approach to automated essay scoring”, in Proceedings of the 2016 conference on empirical methods in natural language processing, 2016, pp. 1882-1891.

11. L. Xia, J. Liu, and Z. Zhang, "Automatic essay scoring model based on two-layer bi-directional long-short term memory network”, in Proceedings of the 20193rd International Conference on Computer Science and Artificial Intelligence, 2019, pp. 133-137.

12. M. Uto and M. Okano, "Robust neural automated essay scoring using item response theory”, in International Conference on Artificial Intelligence in Education, Springer, 2020, pp. 549-561.

13. Y. Tay, M. Phan, L. A. Tuan, and S. C. Hui, "Skipflow: Incorporating neural coherence features for end-to-end automatic text scoring”, in Proceedings of the AAAI conference on artificial intelligence, vol. 32, 2018, pp. 5948-5955.

14. Y. Farag, H. Yannakoudakis, and T. Briscoe, "Neural Automated Essay Scoring and Coherence Modeling for Adversarially Crafted Input”, in Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Association for Computational Linguistics (ACL), 2018, pp. 263-271.

15. Y. Yang and J. Zhong, "Automated essay scoring via example-based learning”, in International Conference on Web Engineering, Springer, 2021, pp. 201-208.

16. E. Mayfield and A. W. Black, "Should you fine-tune BERT for automated essay scoring?”, in Proceedings of the Fifteenth Workshop on Innovative Use of NLP for Building Educational Applications, 2020, pp. 151-162.

17. R. Yang, J. Cao, Z. Wen, Y. Wu, and X. He, "Enhancing automated essay scoring performance via fine-tuning pre-trained language models with combination of regression and ranking”, in Findings of the Association for Computational Linguistics:EMNLP 2020, 2020, pp. 1560-1569.

18. M. Uto, Y. Xie, and M. Ueno, "Neural automated essay scoring incorporating handcrafted features”, in Proceedings of the 28th International Conference on Computational Linguistics, 2020, pp. 6077-6088.

19. I. Aomi, E. Tsutsumi, M. Uto, and M. Ueno, "Integration of automated essay scoring models using item response theory”, in International Conference on Artificial Intelligence in Education, Springer, 2021, pp. 54-59.

20. W. Zhu and Y. Sun, "Automated Essay Scoring System using Multi-Model Machine Learning”, in CS & IT Conference Proceedings, CS & IT Conference Proceedings, vol. 10, 2020, pp. 109-117.

21. S. M. Darwish and S. K. Mohamed, "Automated essay evaluation based on fusion of fuzzy ontology and latent semantic analysis”, in International Conference on Advanced Machine Learning Technologies and Applications, Springer, 2019, pp. 566-575.

22. Y. Salim, V. Stevanus, E. Barlian, A. C. Sari, and D. Suhartono, "Automated English Digital Essay Grader Using Machine Learning”, in 2019 IEEE International Conference on Engineering, Technology and Education (TALE), IEEE, 2019, pp. 1-6.

23. R. Wilkens, D. Seibert, X. Wang, and T. Francois, "MWE for Essay Scoring English as a Foreign Language”, in 2nd Workshop on Tools and Resources for REAding DIfficulties (READI), 2022, pp. 62-69.

24. D. Ramesh and S. K. Sanampudi, "An automated essay scoring systems: a systematic literature review”, Artificial Intelligence Review, pp. 1-33, 2021.