Как отмечалось в п.2.1, по ограниченным
данным выборки объема n можно
построить модель лишь с некоторой
точностью. её параметры a и b
являются оценками истинных значений α
и β, которые определяются генеральной
совокупностью объема N >> n.
Последней приписываются вероятностные
свойства с применением аксиом теории
вероятности, определений случайной
величины, вероятности, плотности
вероятности, оператора усреднения и
т.д. В рамках свойств генеральной
совокупности объема N рассматривается
спецификация модели линейной
регрессии
,
в
которой α, β, xi –
детерминированные (фиксированные или
известные) величины, а значения показателя
yi и ошибки модели i
– случайные величины (СВ) с
заданным распределением (например,
плотности вероятности). Часто yi,
i считаются
нормальными СВ (НСВ), тогда модель
называют нормальной.
Ограниченные данные выборки объема n
<< N позволяют вместо точной
модели (2.1) с параметрами α и β
построить приближенную модель (2.2)
.
Здесь еі – остатки
регрессии, вероятностные свойства
которых считаются аналогичными ошибкам
i , а
a, b – некоторые оценки (приближенные
значения) параметров модели.
Мы
будем оценивать дисперсии и
среднеквадратичные ошибки (СКО) для
оценок параметров модели и величины :
;
;
,
где M[X], D[X] – математическое
ожидание и дисперсия случайной величины
Х.
Для непрерывной случайной величины Х
с плотностью вероятности р(х)
они определяются как
,
.
Следовательно, для точного определения
того или иного параметра случайной
величины достаточно знать (или задать)
её распределение плотности вероятности.
2.4.1. Основные условия (гипотезы) анализа ошибок
Поскольку в корреляционно-регрессионном
анализе мы опираемся на методы
математической статистики и теории
вероятности, любые оценки ошибок
моделирования являются корректными
лишь при выполнении исходно принятых
условий (гипотез) в отношении величин
и переменных, входящих в модель. Примем
следующие гипотезы:
1. В спецификации модели (2.1) фактор х
и параметры модели α, β – детерминированные
величины, а показатель уi
и ошибки моделирования i
– случайные величины.
2. Ошибки моделирования имеют нулевое
среднее значение и некоррелированны:
Невыполнение второго условия называют
автокорреляцией ошибок модели.
3. Дисперсия ошибок моделирования i
показателя не зависят от номера i
(гомоскедастичность):
Невыполнение этого условия называют
гетероскедастичностью.
Дополнительным условием, которое может
не выполняться в ряде случаев, является
свойство нормальной модели:
4. Ошибки i
являются нормальными СВ:
N(0,
2) c нулевым
математическим ожиданием mε
= 0 и дисперсией 2.
2.4.2. Ошибки оценок параметров модели
Покажем сначала, что оценки МНК параметров
линейной модели являются несмещенными,
т.е. математические ожидания оценок
совпадают с истинными значениями
параметров:
M[b] = β, M[a] = α.
Действительно, согласно (2.12) и (2.7) имеем:
. (2.27)
С учетом (2.1), детерминированности vi
и условия
M[i]
= 0 гипотезы 2 получим в результате
усреднения оценки b в рамках
генеральной совокупности
.
Здесь использовано одно из свойств для
коэффициентов vi
(2.28)
которые
следуют из (2.27).
Аналогично, для параметра a с учетом
(2.6) и несмещенности b получим
.
Таким
образом, обе оценки МНК параметров
линейной модели являются несмещенными,
то есть сходятся при неограниченном
увеличении объема выборки к точным
значениям параметров α и β. Поэтому при
определении их дисперсий усредняются
квадраты разностей оценок и истинных
значений параметров.
Определим дисперсию коэффициента
регрессии. Известными свойствами
дисперсии СВ Х, умножаемой или
складываемой с константой с, являются:
. (2.29)
Тогда
с использованием (2.27) – (2.29)
.(2.30)
Здесь принято во внимание, что дисперсии
D[yi] =D[i],
так как показатель и ошибка модели
как случайные величины отличаются на
детерминированное слагаемое a+ bxi.
Дисперсию
постоянной составляющей модели определим
как
. (2.31)
Так как
. (2.32)
и
, (2.33)
то с
учетом (2.32), (2.33) дисперсия (2.31) становится
равной
. (2.34)
Более
сложным является определение оценки
дисперсии ошибок модели. Опуская вывод,
приведем окончательную формулу для
несмещенной оценки дисперсии ошибок
моделирования
, (2.35)
выраженную
через остатки регрессии (2.2).
Выражения (2.30), (2.34) дают точные значения
дисперсий оценок параметров модели,
однако практически воспользоваться
ими нельзя, так как точное значение
дисперсии ошибок 2
неизвестно (оно определяется из
генеральной совокупности, а не из
выборки). На основе выборочных данных
можно лишь оценить с помощью (2.35) эту
дисперсию. Поэтому на практике в формулы
(2.31), (2.35) вместо 2
подставляют её оценку (2.35) и получают
оценки дисперсий параметров b и a:
, (2.36)
. (2.37)
Эти
оценки используют лишь выборочные
данные. СКО этих оценок равны положительным
значениям квадратного корня из дисперсий.
В
лияние
СКО оценок параметров на точность модели
отражается на рис.2.5, а, б. Сдвиг
постоянной составляющей в пределах а
а
не является существенным при моделировании,
так как он не изменяется при всех
значениях фактора х и его можно
легко скорректировать. Более существенные
последствия имеет ошибка в определении
коэффициента регрессии b. Как видно
из рис.2.5, б, ошибки в прогнозах
показателя у* становятся тем
больше, чем больше отклонение от среднего
значения фактора х. Стандартное отклонение
у* b
имеет место при
.
В общем случае граничная ошибка регрессии
(с доверительной вероятностью 68%)
пропорциональна величине
.
Иначе говоря, чем больше отличается
значение фактора х при прогнозе от
среднего, тем больше можно ошибиться в
результате прогнозирования. Ясно также,
что СКО b
уменьшается с ростом объема выборки n,
так как растет число положительных
слагаемых в знаменателе (2.36).
а б
Рис.2.5
Пример 2.2. Оценим
СКО и доверительные интервалы оценок
параметров модели примера 2.1 для малой
выборки объема n
= 5, приняв доверительную вероятность Р
= 0,954.
Оценка дисперсии
ошибок модели согласно (2.36) и расчетов,
приведенных в таблице 2.1, равна
.
Тогда СКО оценок
b
= 0,588 a
= – 0,529 параметров модели в соответствии
с (2.37), (2.38) равны
.
Ошибки оказались
сравнительно большими в связи с малым
объемом выборки (n
= 5). Найденные значения СКО являются
точечными ошибками оценок параметров.
Определим далее доверительные интервалы
этих оценок. Для нормальной модели
граничная ошибка равна
Δ = tσ,
где
параметр доверия t
= 1 при доверительной вероятности Р
= 0,68,
t = 2
при Р
= 0,954,
t =
3 при Р
= 0,997.
В нашем примере
t = 2
(Р
= 0,954), Δb
= 0,256, Δa
= 1,678,
тогда
доверительные интервалы для истинных
значений параметров
и α с границами b
Δb,
a
Δa
определяются как
[0,332; 0,844],
α
[ – 2,207; 1,149].
Это значит, что
при доверительной вероятности 95,4%
коэффициент регрессии
b (и,
соответственно, наклон прямой линии
модели) может измениться более чем в
2,5 раза, а девиация (отклонение) постоянной
составляющей а
близка к
1,7 у.е. Очевидно, подобные ошибки малой
выборки неприемлемы для практических
целей, поэтому реальные объемы выборки
должны составлять десятки, сотни и более
элементов.
Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]
- #
- #
- #
- #
- #
- #
- #
- #
- #
- #
- #
Для того чтобы модель линейной регрессии можно было применять на практике необходимо сначала оценить её качество. Для этих целей предложен ряд показателей, каждый из которых предназначен для использования в различных ситуациях и имеет свои особенности применения (линейные и нелинейные, устойчивые к аномалиям, абсолютные и относительные, и т.д.). Корректный выбор меры для оценки качества модели является одним из важных факторов успеха в решении задач анализа данных.
«Хорошая» аналитическая модель должна удовлетворять двум, зачастую противоречивым, требованиям — как можно лучше соответствовать данным и при этом быть удобной для интерпретации пользователем. Действительно, повышение соответствия модели данным как правило связано с её усложнением (в случае регрессии — увеличением числа входных переменных модели). А чем сложнее модель, тем ниже её интерпретируемость.
Поэтому при выборе между простой и сложной моделью последняя должна значимо увеличивать соответствие модели данным чтобы оправдать рост сложности и соответствующее снижение интерпретируемости. Если это условие не выполняется, то следует выбрать более простую модель.
Таким образом, чтобы оценить, насколько повышение сложности модели значимо увеличивает её точность, необходимо использовать аппарат оценки качества регрессионных моделей. Он включает в себя следующие меры:
- Среднеквадратичная ошибка (MSE).
- Корень из среднеквадратичной ошибки (RMSE).
- Среднеквадратичная ошибка в процентах (MSPE).
- Средняя абсолютная ошибка (MAE).
- Средняя абсолютная ошибка в процентах (MAPE).
- Cимметричная средняя абсолютная процентная ошибка (SMAPE).
- Средняя абсолютная масштабированная ошибка (MASE)
- Средняя относительная ошибка (MRE).
- Среднеквадратичная логарифмическая ошибка (RMSLE).
- Коэффициент детерминации R-квадрат.
- Скорректированный коэффициент детеминации.
Прежде чем перейти к изучению метрик качества, введём некоторые базовые понятия, которые нам в этом помогут. Для этого рассмотрим рисунок.
Рисунок 1. Линейная регрессия
Наклонная прямая представляет собой линию регрессии с переменной, на которой расположены точки, соответствующие предсказанным значениям выходной переменной widehat{y} (кружки синего цвета). Оранжевые кружки представляют фактические (наблюдаемые) значения y . Расстояния между ними и линией регрессии — это ошибка предсказания модели y-widehat{y} (невязка, остатки). Именно с её использованием вычисляются все приведённые в статье меры качества.
Горизонтальная линия представляет собой модель простого среднего, где коэффициент при независимой переменной x равен нулю, и остаётся только свободный член b, который становится равным среднему арифметическому фактических значений выходной переменной, т.е. b=overline{y}. Очевидно, что такая модель для любого значения входной переменной будет выдавать одно и то же значение выходной — overline{y}.
В линейной регрессии такая модель рассматривается как «бесполезная», хуже которой работает только «случайный угадыватель». Однако, она используется для оценки, насколько дисперсия фактических значений y относительно линии среднего, больше, чем относительно линии регрессии с переменной, т.е. насколько модель с переменной лучше «бесполезной».
MSE
Среднеквадратичная ошибка (Mean Squared Error) применяется в случаях, когда требуется подчеркнуть большие ошибки и выбрать модель, которая дает меньше именно больших ошибок. Большие значения ошибок становятся заметнее за счет квадратичной зависимости.
Действительно, допустим модель допустила на двух примерах ошибки 5 и 10. В абсолютном выражении они отличаются в два раза, но если их возвести в квадрат, получив 25 и 100 соответственно, то отличие будет уже в четыре раза. Таким образом модель, которая обеспечивает меньшее значение MSE допускает меньше именно больших ошибок.
MSE рассчитывается по формуле:
MSE=frac{1}{n}sumlimits_{i=1}^{n}(y_{i}-widehat{y}_{i})^{2},
где n — количество наблюдений по которым строится модель и количество прогнозов, y_{i} — фактические значение зависимой переменной для i-го наблюдения, widehat{y}_{i} — значение зависимой переменной, предсказанное моделью.
Таким образом, можно сделать вывод, что MSE настроена на отражение влияния именно больших ошибок на качество модели.
Недостатком использования MSE является то, что если на одном или нескольких неудачных примерах, возможно, содержащих аномальные значения будет допущена значительная ошибка, то возведение в квадрат приведёт к ложному выводу, что вся модель работает плохо. С другой стороны, если модель даст небольшие ошибки на большом числе примеров, то может возникнуть обратный эффект — недооценка слабости модели.
RMSE
Корень из среднеквадратичной ошибки (Root Mean Squared Error) вычисляется просто как квадратный корень из MSE:
RMSE=sqrt{frac{1}{n}sumlimits_{i=1}^{n}(y_{i}-widehat{y_{i}})^{2}}
MSE и RMSE могут минимизироваться с помощью одного и того же функционала, поскольку квадратный корень является неубывающей функцией. Например, если у нас есть два набора результатов работы модели, A и B, и MSE для A больше, чем MSE для B, то мы можем быть уверены, что RMSE для A больше RMSE для B. Справедливо и обратное: если MSE(A)<MSE(B), то и RMSE(A)<RMSE(B).
Следовательно, сравнение моделей с помощью RMSE даст такой же результат, что и для MSE. Однако с MSE работать несколько проще, поэтому она более популярна у аналитиков. Кроме этого, имеется небольшая разница между этими двумя ошибками при оптимизации с использованием градиента:
frac{partial RMSE}{partial widehat{y}_{i}}=frac{1}{2sqrt{MSE}}frac{partial MSE}{partial widehat{y}_{i}}
Это означает, что перемещение по градиенту MSE эквивалентно перемещению по градиенту RMSE, но с другой скоростью, и скорость зависит от самой оценки MSE. Таким образом, хотя RMSE и MSE близки с точки зрения оценки моделей, они не являются взаимозаменяемыми при использовании градиента для оптимизации.
Влияние каждой ошибки на RMSE пропорционально величине квадрата ошибки. Поэтому большие ошибки оказывают непропорционально большое влияние на RMSE. Следовательно, RMSE можно считать чувствительной к аномальным значениям.
MSPE
Среднеквадратичная ошибка в процентах (Mean Squared Percentage Error) представляет собой относительную ошибку, где разность между наблюдаемым и фактическим значениями делится на наблюдаемое значение и выражается в процентах:
MSPE=frac{100}{n}sumlimits_{i=1}^{n}left ( frac{y_{i}-widehat{y}_{i}}{y_{i}} right )^{2}
Проблемой при использовании MSPE является то, что, если наблюдаемое значение выходной переменной равно 0, значение ошибки становится неопределённым.
MSPE можно рассматривать как взвешенную версию MSE, где вес обратно пропорционален квадрату наблюдаемого значения. Таким образом, при возрастании наблюдаемых значений ошибка имеет тенденцию уменьшаться.
MAE
Cредняя абсолютная ошибка (Mean Absolute Error) вычисляется следующим образом:
MAE=frac{1}{n}sumlimits_{i=1}^{n}left | y_{i}-widehat{y}_{i} right |
Т.е. MAE рассчитывается как среднее абсолютных разностей между наблюдаемым и предсказанным значениями. В отличие от MSE и RMSE она является линейной оценкой, а это значит, что все ошибки в среднем взвешены одинаково. Например, разница между 0 и 10 будет вдвое больше разницы между 0 и 5. Для MSE и RMSE, как отмечено выше, это не так.
Поэтому MAE широко используется, например, в финансовой сфере, где ошибка в 10 долларов должна интерпретироваться как в два раза худшая, чем ошибка в 5 долларов.
MAPE
Средняя абсолютная процентная ошибка (Mean Absolute Percentage Error) вычисляется следующим образом:
MAPE=frac{100}{n}sumlimits_{i=1}^{n}frac{left | y_{i}-widehat{y_{i}} right |}{left | y_{i} right |}
Эта ошибка не имеет размерности и очень проста в интерпретации. Её можно выражать как в долях, так и в процентах. Если получилось, например, что MAPE=11.4, то это говорит о том, что ошибка составила 11.4% от фактического значения.
SMAPE
Cимметричная средняя абсолютная процентная ошибка (Symmetric Mean Absolute Percentage Error) — это мера точности, основанная на процентных (или относительных) ошибках. Обычно определяется следующим образом:
SMAPE=frac{100}{n}sumlimits_{i=1}^{n}frac{left | y_{i}-widehat{y_{i}} right |}{(left | y_{i} right |+left | widehat{y}_{i} right |)/2}
Т.е. абсолютная разность между наблюдаемым и предсказанным значениями делится на полусумму их модулей. В отличие от обычной MAPE, симметричная имеет ограничение на диапазон значений. В приведённой формуле он составляет от 0 до 200%. Однако, поскольку диапазон от 0 до 100% гораздо удобнее интерпретировать, часто используют формулу, где отсутствует деление знаменателя на 2.
Одной из возможных проблем SMAPE является неполная симметрия, поскольку в разных диапазонах ошибка вычисляется неодинаково. Это иллюстрируется следующим примером: если y_{i}=100 и widehat{y}_{i}=110, то SMAPE=4.76, а если y_{i}=100 и widehat{y}_{i}=90, то SMAPE=5.26.
Ограничение SMAPE заключается в том, что, если наблюдаемое или предсказанное значение равно 0, ошибка резко возрастет до верхнего предела (200% или 100%).
MASE
Средняя абсолютная масштабированная ошибка (Mean absolute scaled error) — это показатель, который позволяет сравнивать две модели. Если поместить MAE для новой модели в числитель, а MAE для исходной модели в знаменатель, то полученное отношение и будет равно MASE. Если значение MASE меньше 1, то новая модель работает лучше, если MASE равно 1, то модели работают одинаково, а если значение MASE больше 1, то исходная модель работает лучше, чем новая модель. Формула для расчета MASE имеет вид:
MASE=frac{MAE_{i}}{MAE_{j}}
MASE симметрична и устойчива к выбросам.
MRE
Средняя относительная ошибка (Mean Relative Error) вычисляется по формуле:
MRE=frac{1}{n}sumlimits_{i=1}^{n}frac{left | y_{i}-widehat{y}_{i}right |}{left | y_{i} right |}
Несложно увидеть, что данная мера показывает величину абсолютной ошибки относительно фактического значения выходной переменной (поэтому иногда эту ошибку называют также средней относительной абсолютной ошибкой, MRAE). Действительно, если значение абсолютной ошибки, скажем, равно 10, то сложно сказать много это или мало. Например, относительно значения выходной переменной, равного 20, это составляет 50%, что достаточно много. Однако относительно значения выходной переменной, равного 100, это будет уже 10%, что является вполне нормальным результатом.
Очевидно, что при вычислении MRE нельзя применять наблюдения, в которых y_{i}=0.
Таким образом, MRE позволяет более адекватно оценить величину ошибки, чем абсолютные ошибки. Кроме этого она является безразмерной величиной, что упрощает интерпретацию.
RMSLE
Среднеквадратичная логарифмическая ошибка (Root Mean Squared Logarithmic Error) представляет собой RMSE, вычисленную в логарифмическом масштабе:
RMSLE=sqrt{frac{1}{n}sumlimits_{i=1}^{n}(log(widehat{y}_{i}+1)-log{(y_{i}+1}))^{2}}
Константы, равные 1, добавляемые в скобках, необходимы чтобы не допустить обращения в 0 выражения под логарифмом, поскольку логарифм нуля не существует.
Известно, что логарифмирование приводит к сжатию исходного диапазона изменения значений переменной. Поэтому применение RMSLE целесообразно, если предсказанное и фактическое значения выходной переменной различаются на порядок и больше.
R-квадрат
Перечисленные выше ошибки не так просто интерпретировать. Действительно, просто зная значение средней абсолютной ошибки, скажем, равное 10, мы сразу не можем сказать хорошая это ошибка или плохая, и что нужно сделать чтобы улучшить модель.
В этой связи представляет интерес использование для оценки качества регрессионной модели не значения ошибок, а величину показывающую, насколько данная модель работает лучше, чем модель, в которой присутствует только константа, а входные переменные отсутствуют или коэффициенты регрессии при них равны нулю.
Именно такой мерой и является коэффициент детерминации (Coefficient of determination), который показывает долю дисперсии зависимой переменной, объяснённой с помощью регрессионной модели. Наиболее общей формулой для вычисления коэффициента детерминации является следующая:
R^{2}=1-frac{sumlimits_{i=1}^{n}(widehat{y}_{i}-y_{i})^{2}}{sumlimits_{i=1}^{n}({overline{y}}_{i}-y_{i})^{2}}
Практически, в числителе данного выражения стоит среднеквадратическая ошибка оцениваемой модели, а в знаменателе — модели, в которой присутствует только константа.
Главным преимуществом коэффициента детерминации перед мерами, основанными на ошибках, является его инвариантность к масштабу данных. Кроме того, он всегда изменяется в диапазоне от −∞ до 1. При этом значения близкие к 1 указывают на высокую степень соответствия модели данным. Очевидно, что это имеет место, когда отношение в формуле стремится к 0, т.е. ошибка модели с переменными намного меньше ошибки модели с константой. R^{2}=0 показывает, что между независимой и зависимой переменными модели имеет место функциональная зависимость.
Когда значение коэффициента близко к 0 (т.е. ошибка модели с переменными примерно равна ошибке модели только с константой), это указывает на низкое соответствие модели данным, когда модель с переменными работает не лучше модели с константой.
Кроме этого, бывают ситуации, когда коэффициент R^{2} принимает отрицательные значения (обычно небольшие). Это произойдёт, если ошибка модели среднего становится меньше ошибки модели с переменной. В этом случае оказывается, что добавление в модель с константой некоторой переменной только ухудшает её (т.е. регрессионная модель с переменной работает хуже, чем предсказание с помощью простой средней).
На практике используют следующую шкалу оценок. Модель, для которой R^{2}>0.5, является удовлетворительной. Если R^{2}>0.8, то модель рассматривается как очень хорошая. Значения, меньшие 0.5 говорят о том, что модель плохая.
Скорректированный R-квадрат
Основной проблемой при использовании коэффициента детерминации является то, что он увеличивается (или, по крайней мере, не уменьшается) при добавлении в модель новых переменных, даже если эти переменные никак не связаны с зависимой переменной.
В связи с этим возникают две проблемы. Первая заключается в том, что не все переменные, добавляемые в модель, могут значимо увеличивать её точность, но при этом всегда увеличивают её сложность. Вторая проблема — с помощью коэффициента детерминации нельзя сравнивать модели с разным числом переменных. Чтобы преодолеть эти проблемы используют альтернативные показатели, одним из которых является скорректированный коэффициент детерминации (Adjasted coefficient of determinftion).
Скорректированный коэффициент детерминации даёт возможность сравнивать модели с разным числом переменных так, чтобы их число не влияло на статистику R^{2}, и накладывает штраф за дополнительно включённые в модель переменные. Вычисляется по формуле:
R_{adj}^{2}=1-frac{sumlimits_{i=1}^{n}(widehat{y}_{i}-y_{i})^{2}/(n-k)}{sumlimits_{i=1}^{n}({overline{y}}_{i}-y_{i})^{2}/(n-1)}
где n — число наблюдений, на основе которых строится модель, k — количество переменных в модели.
Скорректированный коэффициент детерминации всегда меньше единицы, но теоретически может принимать значения и меньше нуля только при очень малом значении обычного коэффициента детерминации и большом количестве переменных модели.
Сравнение метрик
Резюмируем преимущества и недостатки каждой приведённой метрики в следующей таблице:
| Мера | Сильные стороны | Слабые стороны |
|---|---|---|
| MSE | Позволяет подчеркнуть большие отклонения, простота вычисления. | Имеет тенденцию занижать качество модели, чувствительна к выбросам. Сложность интерпретации из-за квадратичной зависимости. |
| RMSE | Простота интерпретации, поскольку измеряется в тех же единицах, что и целевая переменная. | Имеет тенденцию занижать качество модели, чувствительна к выбросам. |
| MSPE | Нечувствительна к выбросам. Хорошо интерпретируема, поскольку имеет линейный характер. | Поскольку вклад всех ошибок отдельных наблюдений взвешивается одинаково, не позволяет подчёркивать большие и малые ошибки. |
| MAPE | Является безразмерной величиной, поэтому её интерпретация не зависит от предметной области. | Нельзя использовать для наблюдений, в которых значения выходной переменной равны нулю. |
| SMAPE | Позволяет корректно работать с предсказанными значениями независимо от того больше они фактического, или меньше. | Приближение к нулю фактического или предсказанного значения приводит к резкому росту ошибки, поскольку в знаменателе присутствует как фактическое, так и предсказанное значения. |
| MASE | Не зависит от масштаба данных, является симметричной: положительные и отрицательные отклонения от фактического значения учитываются одинаково. Устойчива к выбросам. Позволяет сравнивать модели. | Сложность интерпретации. |
| MRE | Позволяет оценить величину ошибки относительно значения целевой переменной. | Неприменима для наблюдений с нулевым значением выходной переменной. |
| RMSLE | Логарифмирование позволяет сделать величину ошибки более устойчивой, когда разность между фактическим и предсказанным значениями различается на порядок и выше | Может быть затруднена интерпретация из-за нелинейности. |
| R-квадрат | Универсальность, простота интерпретации. | Возрастает даже при включении в модель бесполезных переменных. Плохо работает когда входные переменные зависимы. |
| R-квадрат скорр. | Корректно отражает вклад каждой переменной в модель. | Плохо работает, когда входные переменные зависимы. |
В данной статье рассмотрены наиболее популярные меры качества регрессионных моделей, которые часто используются в различных аналитических приложениях. Эти меры имеют свои особенности применения, знание которых позволит обоснованно выбирать и корректно применять их на практике.
Однако в литературе можно встретить и другие меры качества моделей регрессии, которые предлагаются различными авторами для решения конкретных задач анализа данных.
Другие материалы по теме:
Отбор переменных в моделях линейной регрессии
Репрезентативность выборочных данных
Логистическая регрессия и ROC-анализ — математический аппарат
Погрешность — математическая модель
Cтраница 1
Погрешность математической модели связана с приближенностью математического описания физического явления, обусловленной как сознательной его схематизацией с целью упрощения задачи, так и относительностью и ограниченностью существующих знаний об окружающем мире.
[1]
Оценка погрешности математической модели процесса, включающая погрешность метода, алгоритма и программы, для рассматриваемой области трехмерных задач нестационарной теплопроводности проводится по первому — третьему классам точных решений. При этом на телах классической формы и точных решений первого класса выявляется влияние на погрешность решения неравномерности сетки при произвольном сочетании указанных граничных условий, а по второму классу — точных решений только при идеальной теплоизоляции.
[2]
Результаты оценки погрешности математической модели и конкретной численной модели в существенной мере определяются характером поля температур, варьирование которого возможно при изменении численных значений параметров точных решений.
[3]
Однако на смену погрешностям макетирования приходят погрешности математических моделей и методов решения уравнений ММС.
[4]
Как следует из уравнения ( 11 23), корректирующее устройство вырабатывает сигнал и, пропорциональный отклонению Аю ( т), компенсируя тем самым погрешности математической модели и поиска самого решения.
[6]
В данном параграфе будут рассмотрены некоторые аспекты вопроса построения модели всего объекта, если известны модели его составных частей с некоторой погрешностью, и вопрос влияния погрешностей моделей составных частей на погрешность математической модели объекта в целом.
[7]
Иногда в литературе встречается несколько иная классификация погрешностей: неустранимой погрешностью называют лишь погрешность, являющуюся следствием неточности задания исходных данных, входящих в математическое описание задачи, а погрешность, являющуюся следствием несоответствия математического описания реальности, называют погрешностью математической модели.
[8]
Есть четыре источника погрешности результата: математическая модель, исходные данные, приближенный метод и округления при вычислениях. Погрешность математической модели связана с физическими допущениями и здесь рассматриваться не будет.
[9]
Заметим, что задача идентификации в алгоритме ставится как экстремальная. &), Q CD, где CD — область, в которой выбирают значения параметров математической модели; EQ — обобщенная оценка погрешности математической модели. Для нахождения mm EQ ( С) применяют методы математического программирования, эвристического поиска, эволюционные и генетические алгоритмы.
[10]
Необходимым условием окончания решения задачи с помощью ПМК является получение результатов с требуемой точностью. Численные результаты подавляющего большинства прикладных задач могут быть получены лишь приближенно. Источниками отклонения результата решения задач от точного значения ( погрешности) являются погрешности математической модели и исходных данных, а также методические и операционные погрешности вычислений.
[11]
Страницы:
1
Слайд 1
МЧС РОССИИ
САНКТ-ПЕТЕРБУРГСКИЙ УНИВЕРСИТЕТ
ГОСУДАРСТВЕННОЙ ПРОТИВОПОЖАРНОЙ СЛУЖБЫ
Кафедра
прикладной математики и информационных технологий
Математическое моделирование
специальность
230401.65 – «Прикладная математика»
Слайд 2Учебные вопросы:
Свойства математических моделей.
Оценка качества математических моделей.
Обеспечение
адекватности моделей.
Тема 1.
Методологические основы моделирования
Лекция
1.4.
Свойства математических моделей и принципы их оценки.
Слайд 3Литература
Зарубин В.С. Математическое моделирование в технике: Учеб.
для вузов/ В.С. Зарубин. – М.: Изд-во
МГТУ им. Н.Э. Баумана, 2002.
Советов Б.Я., Яковлев С.А. Моделирование систем: Учебник. – М.: Высшая школа, 2001.
Шикин Е.В. Математические методы и модели управлений: Учеб. пособие/ Е.В. Шикин, А.Г. Чхартишвили. – М.:, Дело, 2002.
Слайд 41. Свойства математических моделей
Слайд 5Основные области применения моделей:
— управление объектами, проектировании
новых объектов. Используются для поиска оптимальных или
рациональных решений, оценки эффективности решений, определении свойств объектов (например, чувствительности к изменениям параметров объектов и внешней среды);
— научные исследования. Выявление закономерностей функционирования объекта или его взаимодействия с внешней средой, перенос информации во времени;
— обучение. Позволяют повысить наглядность обучения, изучить влияние изменений параметров объектов на результаты функционирования, снизить затраты ресурсов на обучение, научиться управлять объектом, прогнозировать последствия принимаемых решений.
Реализация указанных функций требует определенного качества модели. Требования к качеству зависят от назначения модели.
Слайд 6Качество математической модели – это совокупность свойств,
отличающие конкретную модель от других моделей и
характеризующих её соответствие назначению. Качество математической модели характеризует ее пригодность для решения практических задач, оно в полной мере проявляется лишь в процессе её использования по назначению.
Две группы свойств математических моделей:
— основные свойства. Без определенного уровня этих свойств модель нельзя использовать по назначению;
— эксплуатационные свойства. Эти свойства характеризуют удобство применения модели пользователем и потребности в ресурсах для её исследования.
Слайд 7Основные свойства
Адекватность
Управляемость
Целостность
Чувствительность
Робастность
Неопределённость
Точность
Слайд 8Адекватность характеризует, насколько правильно и полно модель
описывает исследуемые свойства объекта-оригинала (структуру, процессы функционирования
и др.), насколько правильно она позволяет прогнозировать изменение свойств объекта.
В основе моделирования лежит теория подобия, которая утверждает, что абсолютное подобие имеет место лишь при замене одного объекта другим точно таким же. При математическом моделировании абсолютное подобие модели объекту-оригиналу невозможно, да и не имеет смысла.
Адекватность означает и непротиворечивость результатов моделирования, т.е. при вариации значений параметров модель не должна давать результаты, противоречащие логике, особенно в тех случаях, когда значения параметров близки к экстремальным.
Слайд 9Управляемость означает возможность управления математической моделью со
стороны исследователя для изучения протекания процессов в
различных условиях, присущих объекту-оригиналу. Управляемость модели связана с автоматизацией моделирования на основе применения ЭВМ, что позволяет, наряду с программными средствами управления машинным моделированием, использовать диалоговые процедуры общения исследователя с моделью.
Целостность — математическая модель является системой, включающей в себя необходимое количество компонент (подсистем, элементов), находящихся во взаимосвязи друг с другом.
Слайд 10Чувствительность модели характеризует возможность оценки влияния изменения
входных параметров модели на ее выходные характеристики.
Это свойство позволяет устанавливать степень зависимости выходных характеристик от входных параметров. Степень зависимости можно проранжировать и выявить наиболее значимые входные параметры, а наименее значимые вывести из состава.
Слайд 11Робастность (от англ. robust — устойчивый) определяет
способность модели быть устойчивой, т.е. восстанавливаться в
ходе моделирования при возникновении ошибочных ситуаций как внешнего, так и внутреннего происхождения.
В робастной модели могут допускаться ошибки во входных параметрах (погрешности исходных данных) или «неисправности» составных частей самой модели.
Различие между свойствами работоспособности и робастности. Модель, которая не восстанавливается при возникновении ошибочной ситуации, может быть работоспособной, не будучи робастной.
Слайд 12Неопределенность модели определяется тем, что модель только
приближенно отображает реальность. При этом неизбежно существование
упрощений, допущений и идеализация сложных процессов и явлений, происходящих в объекте-оригинале. В соответствующих моделях выделяют несколько источников неопределённости:
— неполнота модели;
— конечная точность математических методов и их реализации на ЭВМ;
— ошибки в реализации моделей;
— неопределенность параметров (констант, входных параметров).
Слайд 13Точность (погрешность результатов моделирования). Требуемая точность зависит
от назначения модели:
— для качественного сравнения результатов
требуется лишь соблюдение характера изменения показателей (увеличение или уменьшение, наличие оптимумов, положительное или отрицательное значение и т.п.);
— для проведения оценочных расчетов или обучения удовлетворительной считается погрешность 10 – 15 % от значения показателя;
— для решения задач управления или оптимизации погрешность не должна превышать 1 – 2 % или быть даже существенно меньше.
Слайд 14Эксплуатационные свойства
Простота (сложность)
Адаптивность
Возможность развития
Надежность
Наглядность
Ресурсоемкость разработки, эксплуатации и
модернизации
Слайд 15Простота (сложность) модели. Модель является совокупностью отдельных
компонентов и связей между ними. Сложность определяется
общим числом компонент (подсистем, элементов) модели и связей между ними. Понятие сложности можно идентифицировать по ряду признаков:
— количеству уровней иерархии,
— количеству отдельных функциональных подсистем модели,
— количеству входов и выходов и т.д.
Адаптивность характеризует способность модели приспосабливаться к разным условиям применения.
Слайд 16Возможность развития модели характеризует ее приспособленность к
совершенствованию:
— по горизонтали, в смысле расширения
спектра изучаемых сторон объекта-оригинала;
— по вертикали в смысле того, что модель должна позволять применять новые современные методы и средства моделирования.
Материализация математической модели в виде программы предопределяет наличие свойства надежности, присущего всем объектам искусственного происхождения.
Надежность модели характеризует способность модели к обнаружению, предупреждению и устранению последствий различного рода ошибок в программе, в исходных данных, сбоев и отказов ЭВМ.
Слайд 17Наглядность обеспечивает снижение затрат ресурсов в ходе:
—
построения концептуальной модели и её формализации;
— алгоритмизации
модели и её машинной реализации;
— получения и интерпретации результатов моделирования.
Ресурсоемкость разработки, эксплуатации и модернизации
Математическое моделирование проводится обычно с использованием ЭВМ, поэтому необходимо оценивать затраты на основные виды обеспечения: кадровое, техническое, программное, информационное, потребности в ресурсах ЭВМ.
Слайд 182. Принципы оценки качества математических моделей
Слайд 19Цель оценивания качества математической модели состоит в
выработке суждения об исследуемой модели (о её
пригодности, превосходстве над другими моделями).
Оценивание возможно только в «замкнутой» схеме, т.е. когда к качеству модели предъявлены требования, которые и «замыкают» схему оценивания.
Термин «Оценка качества» применяют в смысле:
— числовой характеристики показателя, получаемой опытным путём или с помощью расчётов;
— процесса «Оценивание качества», — как совокупности процедур принятия решения о качестве модели.
Слайд 20Принцип 1. Иерархический подход к оцениванию
При оценке
математической модели используют:
— частные
оценки степени проявления конкретных единичных свойств;
— интегральные оценки групповых свойств модели.
Оценку качества математических моделей формулируют с учетом:
выработки частных оценок степени проявления каждого из существенных перечисленных основных и эксплуатационных свойств;
возможности выработки одной (нескольких) интегральных оценок качества модели.
Слайд 21Принцип 2. Необходимость выбора критериев и показателей
качества математической модели
При оценке качества математической модели
необходимо сформировать критерий (критерии) оценивания качества модели и определить номенклатуру показателей её качества.
Критерий оценивания качества модели – это руководящие правило (условие или совокупность условий), вытекающее из принятых принципов оценивания. Правило реализуют при принятии решения о качестве исследуемой модели.
Показатель качества модели – это числовая характеристика или функция, определяющая меру проявления качества модели (или отдельного её свойства).
Слайд 22Принцип 3. Наличие критериев векторного показателя
При оценивании
качества любой математической модели, описываемого векторным показателем,
должна применяться совокупность критериев, принадлежащих к одному из трёх классов:
1) критерий пригодности;
2) критерий оптимальности;
3) критерий превосходства.
Слайд 23Критерий пригодности — означает, что векторный показатель
качества модели принадлежит области допустимых значений показателя
качества пригодной модели.
Критерий оптимальности – означает, что векторный показатель модели принадлежит области допустимых значений показателя качества пригодной модели и равен оптимальному показателю качества пригодной модели по одному или нескольким свойствам.
Критерий превосходства – означает, что векторный показатель качества модели принадлежит области допустимых значений показателей качества пригодных моделей, и модель превосходит по качеству все остальные пригодные модели.
Слайд 24 Из определений критериев следует:
— критерий оптимальности является частным случаем критерия
пригодности;
— критерий превосходства представляет собой частный случай критерия оптимальности.
На основе изложенного формулируется следующий принцип оценки качества математических моделей.
Слайд 25Принцип 4. Оценивание модели возможно только при
наличии требований к качеству модели (наличие «замкнутой»
схемы)
При оценке качества математической модели должна использоваться «закрытая схема», в состав которой входит совокупность требований к модели, и должна соблюдаться последовательность этапов:
— вычисление показателя качества;
— оценивание качества модели по соответствующему критерию.
Слайд 26Принцип 5. Применение вероятностной меры оценки качества
математической модели
При оценке качества математической модели сложного
объекта-оригинала, на который воздействуют случайные факторы, необходимо в качестве показателя эффективности функционирования модели использовать вероятностную меру, характеризующую вероятность выполнения задачи моделирования.
Эта величина характеризует вероятность выполнения задачи моделирования, т.е. является мерой степени выполнения моделью задачи моделирования.
Слайд 27Показатели эффективности функционирования математической модели
Эффективность функционирования модели
нельзя охарактеризовать ни одним из перечисленных частных
(единичных) свойств в отдельности. Она определяется их совокупностью (эффективность – это комплексное свойство модели). Можно ввести понятие групп показателей:
1) вектор целевых эффектов при использовании модели;
2) вектор эксплуатационных эффектов при использовании модели.
Слайд 28При оценке эффективности вероятностных моделей следует учитывать,
что случайными будут и зависящие от них
показатели (показатели целевого эффекта, затрат ресурсов).
В условиях моделирования критерий пригодности процесса функционирования модели к достижению цели моделирования означает, что случайный вектор показателей качества достижимых результатов процесса функционирования модели должен принадлежать области значений вектора требуемых результатов.
Характеристикой эффективности функционирования модели служит вероятность принадлежности случайного вектора показателя достижимых результатов области требуемых (допустимых) значений этого показателя.
Слайд 30Под адекватностью модели следует понимать соответствие результатов
моделирования реальным результатам функционирования объекта во всем
допустимом диапазоне изменений исходных данных.
Однако, если результаты функционирования известны, то моделирование теряет смысл. Поэтому полная проверка адекватности невозможна. Практические способы проверки адекватности не гарантируют доказательства правильности модели.
Слайд 31Причины неадекватности результатов моделирования:
— несоответствие принятых гипотез
о функционировании объекта, принятых допущений и ограничений
реальным условиям;
— несоответствие заданных исходных данных допустимой области значений;
— ошибки и неточности в задании констант и постоянных параметров модели;
— несоответствие выбранного численного метода или его параметров заданным требованиям точности моделирования.
Две основные задачи проверки адекватности:
— проверке справедливости основных допущений и ограничений, принятых при построении модели;
оценке соответствия точности полученных результатов заданным требованиям.
Слайд 32Окончательную проверку адекватности следует проводить после комплексной
отладки программной реализации модели и устранения всех
ошибок в программе.
Наиболее сложно решить первую задачу проверки. Для ее решения следует создавать иерархическую систему моделей, в которой постепенно исключаются из рассмотрения те или иные свойства системы и внешней среды. По результатам сравнительного анализа результатов моделирования принимается решение о значимости соответствующих факторов, о границах допустимости применения моделей.
Слайд 33Простейшей мерой адекватности может служить отклонение некоторой
характеристики Y-оригинала от Y-модели:
Однако, фактическое использование данного
критерия не всегда возможно, т.к.:
для проектируемых или модернизируемых систем отсутствует информация по выходным характеристикам объекта. А исследуются, как правило, именно такие системы.
Система зачастую оценивается не по одной, а по множеству характеристик, у которых может быть разная величина отклонения.
Характеристики могут быть случайными величинами и функциями, а часто и нестационарными функциями.
Может отсутствовать возможность априорного точного задания предельных отклонений и допустимых вероятностей
Считают что модель адекватна с системой, если вероятность того что отклонение не превышает предельной величины дельта, больше допустимой вероятности.
Слайд 34На практике оценка погрешности моделирования (аттестация модели)
состоит в выявлении степени отклонения результатов от
эталона. Выбор эталона и определение значений его параметров необходимый компонент аттестации модели.
Использование объекта-оригинала в качестве эталона снимает проблему выбора (прямой метод аттестации). Проверка адекватности в такой ситуации получает высокую степень достоверности, поскольку позволяет определить полную погрешность модели в некоторой области изменения параметров.
Проблемы:
— натурный эксперимент возможен для существующих объектов;
— обеспечение корректности его проведения (например, непрерывности поддержания заданного характера внешних воздействий, режимов функционирования);
— наличие неконтролируемых случайных помех, искажающих результаты функционирования объекта.
Слайд 35Косвенные методы аттестации используют неформальные подходы:
— анализ
результатов на непротиворечивость. Включает проверку взаимной непротиворечивости
результатов, непротиворечивости результатов при изменении параметров модели, соответствия основным законам математички и физики. Результативным подходом является проверка на граничных значениях параметров;
— проверка сходимости результатов к известным значениям. Исходным данным присваиваются значения, принадлежащие области, для которой результаты известны;
— проверка согласованности результатов моделирования с результатами, полученными другими исследователями при изучении аналогичных объектов. Модификаций подхода является разработка системы моделей с различными допущениями и ограничениями, что позволяет оценить значимость принятых предположений.
Слайд 36Анализ адекватности требует проведения исследования модели, т.е.
проведения экспериментов.
Косвенные методы не гарантируют полную проверку
адекватности модели и объекта-оригинала. Они способны выявить неадекватность, но доказать адекватность нельзя.
Модель считают адекватной, если не обнаружены факты ее неадекватности.
Проблема адекватности в полном объеме неразрешима:
— формализация объекта не является формальной процедурой;
— невозможно проверить адекватность во всем диапазоне изменения исходных данных;
— в программной реализации сложной модели нельзя гарантировать полное отсутствие ошибок.
Проверку адекватности следует осуществлять на всех этапах разработки модели.
