Метод обґрунтування способу оцінювання якості моделі машинного навчання

Abstract

Методи машинного навчання застосовуються для створення аналітичних та прогнозних моделей для проєктів міського будівництва при цьому, ефективність такого підходу базується на якості побудованої моделі машинного навчання. Процес доведення ефективності запропонованої моделі машинного навчання значно ускладняється, якщо не існує узгодженості серед дослідників, щодо прийнятних методів оцінки. Мета даної роботи є обґрунтування вибору способу оцінювання моделі машинного навчання. Для досягнення мети в роботі досліджено динаміку зміни різниці між значеннями оцінок моделі, які отримані різними методами залежно від значення порогу на ROC-кривій. Визначені функції, які визначають найбільшу можливу за модулем різницю між значеннями оцінок моделі, які отримані різними методами. Рекомендовано підхід для обґрунтування вибору способу оцінювання моделі на основі аналізу найбільшої можливої різниці