Регрессионный анализ реферат скачать

Регрессионный анализ.

Определение степени детерминированности вариации критериальной (зависимой) переменной предикторами (независимыми переменными) Предсказание значения зависимой переменной с помощью независимой(-ых) Определение вклада отдельных независимых переменных в вариацию зависимой. Регрессионный анализ нельзя использовать для определения наличия связи между переменными, поскольку наличие такой связи и есть предпосылка для применения анализа. 2. Математическое определение регрессии. Строго регрессионную зависимость можно определить следующим образом. Пусть Y , X 1 , X 2 . X p — случайные величины с заданным совместным распределением вероятностей.

Если для каждого набора значений X 1 = x 1 , X 2 = x 2 . X p = x p определено условное математическое ожидание. Для выяснения вопроса, насколько точно регрессионный анализ оценивает изменение Y при изменении X 1 , X 2 . X p , используется средняя величина дисперсии Y при разных наборах значений X 1 , X 2 . X p (фактически речь идет о мере рассеяния зависимой переменной вокруг линии регрессии). 3. Метод наименьших квадратов (расчёт коэффициентов) На практике линия регрессии чаще всего ищется в виде линейной функции Y = b 0 + b 1 X 1 + b 2 X 2 + . + b N X N (линейная регрессия), наилучшим образом приближающей искомую кривую. Делается это с помощью метода наименьших квадратов, когда минимизируется сумма квадратов отклонений реально наблюдаемых Y от их оценок (имеются в виду оценки с помощью прямой линии, претендующей на то, чтобы представлять искомую регрессионную зависимость): (M — объём выборки). Этот подход основан на том известном факте, что фигурирующая в приведённом выражении сумма принимает минимальное значение именно для того случая, когда Y = y ( x 1 , x 2 . x N ) . Для решения задачи регрессионного анализа методом наименьших квадратов вводится понятие функции невязки : Условие минимума функции невязки:

Полученная система является системой N + 1 линейных уравнений с N + 1 неизвестными b 0 . b N. Если представить свободные члены левой части уравнений матрицей. а коэффициенты при неизвестных в правой части матрицей. то получаем матричное уравнение: , которое легко решается методом Гаусса. Полученная матрица будет матрицей, содержащей коэффициенты уравнения линии регрессии: Для получения наилучших оценок необходимо выполнение предпосылок МНК (условий Гаусса?Маркова). В англоязычной литературе такие оценки называются BLUE (Best Linear Unbiased Estimators) ? наилучшие линейные несмещенные оценки. 4. Интерпретация параметров регрессии.

Параметры b i являются частными коэффициентами корреляции; ( b i ) 2 интерпретируется как доля дисперсии Y, объяснённая X i , при закреплении влияния остальных предикторов, то есть измеряет индивидуальный вклад X i в объяснение Y. В случае коррелирующих предикторов возникает проблема неопределённости в оценках, которые становятся зависимыми от порядка включения предикторов в модель. В таких случаях необходимо применение методов анализа корреляционного и пошагового регрессионного анализа. Говоря о нелинейных моделях регрессионного анализа, важно обращать внимание на то, идет ли речь о нелинейности по независимым переменным (с формальной точки зрения легко сводящейся к линейной регрессии), или о нелинейности по оцениваемым параметрам (вызывающей серьёзные вычислительные трудности). При нелинейности первого вида с содержательной точки зрения важно выделять появление в модели членов вида X 1 X 2 , X 1 X 2 X 3 , свидетельствующее о наличии взаимодействий между признаками X 1 , X 2 и т. д.