Про застосування методу аналізу ієрархій для автоматизованого оцінювання студентських робіт

Abstract

У статті досліджено задачу багатокритеріальної оптимізації, яку розв’язують методом аналізу ієрархій. Розглянуто ситуацію, коли потрібно порівняти та ранжувати студентські роботи (проекти), приблизно одного рівня якості. Продемонстровано, що в таких випадках класичний метод аналізу ієрархій, запропонований Т. Сааті, призводить до отримання досить "грубих" числових результатів (глобальних пріоритетів), коли виявляється, що робота одного студента суттєво переважає роботу іншого (хоча це не так, бо розглядали роботи приблизно одного рівня). Запропоновано використати альтернативну шкалу попарних порівнянь, яка даватиме змогу отримувати в таких випадках більш адекватні числові результати. Проведено відповідні чисельні розрахунки із використанням авторської програмної системи, результати яких наведено у вигляді скріншотів.

The problem of applying multicriteria optimization on the basis of the analytical hierarchy process (AHP) for a specific subject domain is regarded in the paper. Namely, the situation when some students’ study projects should be compared and assessed with the aid of automated algorithm-based tools for grading especially if these projects are nearly of the same quality level is considered. It is well-known that using the classical graduation scale of pairwise comparisons preferences, suggested by T.Saati and commonly used in AHP, may lead to not very good results. The reason for this is that the difference between the automatically evaluated grades of the projects may become unacceptably large even though all of the projects are good enough and deserve good grades. On the other hand, a competitive and comparative approach to grading study projects should be preserved. In order to mitigate this problem, many authors proposed to apply alternative scales of pair comparisons, which are sometimes referred to as transitive ones. Constructing such scales should imply introducing some parameter that determines how many times the next graduation in the scale of preferences in pair comparisons matrices is bigger than the previous one. Typically this parameter is a rational value between 1 and 2 whereas 2 is the least graduation of preferences in the standard Saati scale. The main issue is how to find out appropriate values of this parameter in order to meet the requirements of the certain task. For exploring this question, some numerical experiments have been carried out and are reported in this paper. According to the typical algorithm of estimations, some projects executed by students have been compared pairwise by each criterion separately. Then the chosen criteria have been compared pairwise as well, and the linear convolution method has been applied for getting final grades. The reported experiments show that for the task of automated grading of students’ study projects alternative transitive scales described above can provide more adequate results than using the standard Saati scale, and the best choice of the parameter for this specific task is about 1.1. All experiments have been carried out with the help of the author software toolkits developed for the purposes of exploring AHP and of applying it for various practical tasks. Some screenshots illustrating the main points of reported experiments are supplied.