Занятие №10 Регрессионный анализ



Скачать 118.65 Kb.
Дата08.10.2012
Размер118.65 Kb.
ТипЗанятие
Практическое занятие № 10
Регрессионный анализ
Методы корреляционного анализа, позволяющего решать задачи определения тесноты и направления связи, существующей между изучаемыми величинами. Регрессионный анализ представляет собой следующий этап статистического анализа и позволяет предсказать значения случайной величины на основании значений одной или нескольких независимых случайных величин. Достижение этой цели оказывается возможным за счет определения вида аналитического выражения, описывающего связь зависимой случайной величины Y (которую в этом случае называют результативным признаком) с независимыми случайными величинами Х1 2 , ..., Хm (которые называют факторами).

Основной задачей регрессионного анализа является установление формы линии регрессии и изучение зависимости между переменными. Основной задачей корреляционного анализа — выявление связи между случайными переменными и оценка ее тесноты.

Форма связи результативного признака Y с факторами Х1 2 , ..., Хm называется уравнением регрессии. В зависимости от типа выбранного уравнения различают линейную и нелинейную регрессию (например, квадратичную, логарифмическую, экспоненциальную и т.д.).

Регрессия может быть парная (простая) и множественная, что определяется числом взаимосвязанных признаков. Если исследуется связь между двумя признаками (результативным и факторным), то регрессия называется парной (простой); к этому типу относится, например, исследование зависимости между продажами и затратами на рекламу. Если исследуется связь между тремя и более признаками, то регрессия называется множественной (многофакторной) — например, если исследуется связь между уровнем потребления, доходом, финансовым состоянием и размером семьи.

На этапе регрессионного анализа решаются следующие основные задачи.

1. Выбор общего вида уравнения регрессии и определение параметров регрессии.

2. Определение в регрессии степени взаимосвязи результативного признака и факторов, проверка общего качества уравнения регрессии.

3. Проверка статистической значимости каждого коэффициента уравнения регрессии и определение их доверительных интервалов.
Простая линейная регрессия
Выбор общего вида уравнения регрессии является важной задачей, поскольку форма связи выявляет механизм получения значений зависимой случайной переменной Y. Форма связи может быть линейной или нелинейной. Линейная связь описывается линейным уравнением. Уравнение простой линейной регрессии имеет вид:

png" name="graphics1" align=bottom width=530 height=38 border=0>

График этой функции называется линией регрессии. Линия регрессии точнее всего отражает распределение экспериментальных значений на диаграмме рассеяния, а угол ее наклона характеризует степень зависимости между двумя переменными.

Параметры уравнения регрессии могут быть определены с помощью метода наименьших квадратов (именно этот метод и используется в Microsoft Excel). При определении параметров модели методом наименьших квадратов минимизируется сумма квадратов остатков.



Для нахождения оценок параметров b0 и b1 доставляющих минимум функции Qocm, вычисляются и приравниваются к нулю частные производные этой функции, откуда система нормальных уравнении принимает следующий вид:



После простых преобразований имеем:



Тогда коэффициент наклона прямой регрессии равен:



а свободный член регрессии:



Для свободного члена последнее равенство можно переписать следующим образом:



откуда . Это означает, что средняя точка (,) совместного распределения величин X, Y всегда лежит на линии регрессии. Поэтому при замене х на х- получается b0 = , т.е. среднее заменяет

Отсюда следует, что для определения линии регрессии достаточно знать лишь ее коэффициент наклона b1. Равенство для b1. можно упростить, если использовать найденное значение выборочного коэффициента корреляции г:



где - оценки стандартных отклонений наблюдений

Из последнего выражения для b1, ясно виден общий смысл коэффициента корреляции: чем меньше г, тем ближе линия регрессии к горизонтальному положению, т.е. тем ближе будут средние значения уi,- к состоянию неизменяемости.

Для анализа общего качества уравнения линейной регрессии используется обычно коэффициент детерминации R2, который получается посредством простого возведения в квадрат коэффициента корреляции. Коэффициент детерминации показывает, в какой мере изменчивость величины Y объясняется поведением величины X. Например, если коэффициент корреляции совокупных данных, относящихся к производственным затратам, равняется 0,8, то коэффициент детерминации R2 = 0,82 = 0,64 или 64%. Это значение говорит о том, что 64% вариации (изменчивости) недельных затрат объясняется количеством изделий, выпущенных за неделю. Остальная часть (36%) вариации общих затрат объясняется другими причинами.

Так как в большинстве случаев уравнение регрессии приходится строить на основе выборочных данных, то возникает вопрос об адекватности построения уравнения данным генеральной совокупности. Для этого проводится проверка статистической значимости коэффициента детерминации R2 на основе F-критерия Фишера:



где n — число наблюдений, a m — число факторов в уравнении регрессии.

В математической статистике доказывается, что если гипотеза Н0: R2 = 0 выполняется, то величина F имеет F-распределение с k = m и l=п-ш-1 степенями свободы, т.е.



Гипотеза Н0: R2 = 0 о незначимости коэффициента детерминации R2 отвергается, если FP > Fкр, а принимается альтернативная гипотеза - о значимости R2 .При значениях считается, что вариация результативного признака Y обусловлена, в основном, влиянием включенных в регрессионную модель факторов X.

Возможна ситуация, когда часть вычисленных коэффициентов регрессии не обладает необходимой степенью значимости, т.е. значения данных коэффициентов будут меньше их стандартной ошибки. В этом случае такие коэффициенты должны быть исключены из уравнения регрессии. Поэтому проверка адекватности построенного уравнения регрессии наряду с проверкой значимости коэффициента детерминации R2 включает в себя также и проверку значимости каждого коэффициента регрессии.

Значимость коэффициентов регрессии проверяется с помощью t-критерия Стьюдента:

(10.11)

где — стандартное значение ошибки для коэффициента регрессии

В математической статистике доказывается, что если гипотеза выполняется, то величина t имеет распределение Стьюдента k = п-m~1 степенями свободы, т.е.



Гипотеза Н0: Ь1 = 0 о незначимости коэффициента регрессии отвергается, если tp│> │tкр, а принимается альтернативная о значимости Ь1. Кроме того, зная значение tкр можно найти границы доверительных интервалов для коэффициентов регрессии.



Пусть имеется корреляционное поле производства пшеницы (обозначено точками на графике) для 50-ти сельхоз предприятий. Здесь Y-годовой сбор пшеницы, X-площади посевов.



Регрессионный анализ позволяет определить аналитическое выражение для уравнения линии регрессии оценить значимость коэффициентов этого уравнения.

Задача. На рис. 2 представлены данные о суточном объеме производства и количестве занятых работников для некоторой совокупности дней. По представленным данным необходимо определить параметры уравнения линейной регрессии и выполнить его анализ.

Для расчета параметров уравнения линейной регрессии и проверки его адекватности исследуемому процессу, Microsoft Excel располагает функцией Регрессия. Для вызова этой функций необходимо выбрать команду меню Сервис→Анализ данных (Tools→Data Analysis). На экране раскроется диалоговое окно Анализ данных (Data Analysis), в котором следует выбрать значение Regression, в результате чего на экране появится диалоговое окно Regression, представленное на рис. 1

В диалоговом окне Regression задаются следующие параметры.

1. В поле Input Y Range (Входные данные У) вводится диапазон ячеек, содержащих исходные данные по результативному признаку. Диапазон должен состоять из одного столбца.

2. В поле Input X Range (Входные данные X) вводится диапазон ячеек, содержащих исходные данные факторного признака. Максимальное число входных диапазонов (столбцов) равно 16.

3. Флажок опции Labels (Метки) устанавливается в том случае, если первая строка/столбец во входном диапазоне содержит заголовок. Если заголовок отсутствует, этот флажок следует сбросить. В последнем случае для данных выходного диапазона будут автоматически созданы стандартные названия.

4. Флажок опции Confidence Level (Уровень надежности) устанавливается в том случае, если в расположенное рядом с флажком поле необходимо ввести уровень надежности, отличный от уровня 95%, применяемого по умолчанию. Установленный в данном поле уровень надежности используется для проверки значимости коэффициента детерминации и коэффициентов регрессии. Если данный флажок опции сброшен, в таблице параметров уравнения регрессии генерируются две одинаковые пары столбцов для границ доверительных интервалов.

5. Флажок опции Константа — нуль (Constant is Zero) устанавливается в том случае, когда требуется, чтобы линия регрессии прошла через начало координат (т.е. Ь0 = 0).

6. Переключатель в группе Output options (Режимы вывода) может быть установлен в одно из трех положений, определяющих, где должны быть размещены результаты расчета: Output Range (Выходной интервал), New Worksheet Ply (Новый рабочий лист) или New Workbook (Новая рабочая книга).

7. Флажок опции Residuals (Остатки) устанавливается в том случае, если в диапазон ячеек с выходными данными требуется включить столбец остатков.

8. Флажок опции Standardized Residuals (Стандартизованные остатки) устанавливается в том случае, если в диапазон ячеек с выходными данными требуется включить столбец стандартизованных остатков.

9. Флажок опции Residual Plots (График остатков) должен быть установлен, если на рабочий лист требуется вывести точечные графики зависимости остатков от факторных признаков xt.

10. Флажок опции Line Fit Plots (График подбора) должен быть установлен, если на рабочий лист требуется вывести точечные графики зависимости теоретических результативных значений у от факторных признаков х.

11. Флажок опции Normal Probability Plots (График вероятности нормального распределения) должен быть установлен, если на рабочий лист требуется вывести точечный график зависимости наблюдаемых значений у от автоматически формируемых интервалов персентелей.

Результаты решения данной задачи с помощью функции Regression представлены на рисунках 3-7.

На рисунке 3 представлены результаты расчета регрессионной статистики. Эти результаты соответствуют следующим статистическим показателям:

• Множественный R — коэффициент корреляции R;

• R-квадрат — коэффициент детерминации R2 (квадрат коэффициента корреляции);

• Нормированный R — нормированное значение коэффициента корреляции; •Стандартная ошибка — стандартное отклонение для остатков;

• Наблюдения — это число исходных наблюдений.


Рис.1

Рис.2


На рисунке 4 представлены результаты дисперсионного анализа, которые используются для проверки значимости коэффициента детерминации R2.

Значения в столбцах на рисунке. 4 имеют следующую интерпретацию.

• Столбец df — это число степеней свободы. Для строки Регрессия число степеней свободы определяется количеством факторных признаков m, для строки Остаток — числом наблюдений n и количеством переменных в уравнении регрессии m+1: п -(m + 1), а для строки Итого — суммой степеней свободы для строк Регрессия и Остаток и, следовательно, равно п - 1.

Рис.3



• Столбец SS — это сумма квадратов отклонений. Для строки Регрессия значение определяется как сумма квадратов отклонений теоретических данных от среднего:


Для строки Остаток это сумма квадратов отклонений эмпирических данных от теоретических:



Рис.4




•Для строки Итого это сумма квадратов отклонений эмпирических данных от среднего:



• Столбец MS содержит значения дисперсии, которые рассчитываются по формуле:



Для строки Регрессия это факторная дисперсия

•Для строки Остаток это остаточная дисперсия

• Столбец F содержит расчетное значение F-критерия Фишера Fp вычисляемое по формуле:



• Столбец Значимость F содержит значение уровня значимости, соответствующее вычисленному значению Fр.

На рисунке 5 представлены полученные значения коэффициентов регрессии Ь1, и их статистические оценки.

Столбцы на рисунке 5 содержат следующие значения.

• Коэффициенты — значение коэффициентов Ь1 =41,14 и b0 =217,9865

• Стандартная ошибка — стандартные ошибки коэффициентов Ь1 и и b0 .

Рис.5

Погрешность линейного коэффициента уравнения равная 7,44 и ошибка свободного члена равная 59,5 вполне приемлемы по отношению к величинам данных коэффициентов. уравнения 23 статистически велика, так как превосходит значение свободного члена. Поэтому ошибки не должны значительно влиять на эффективность описания входных данных полученным регрессионным уравнением.

• t-статистика — расчетные значения t-критерия, вычисляемые по формуле:

.

Чем больше отличается от нуля величина t-статистики, тем статистически лучше.

• Р-значение — значения уровней значимости, соответствующие вычисленным значениям tp . Оно характеризует насколько стандартную погрешность можно считать статистически значимой

• Нижние 95% и Верхние 95% — нижние и верхние границы доверительных интервалов для коэффициентов регрессии Ь1. и b0.

Н
Рис.6
а рисунке 6 представлены теоретические значения , результативного признака Y и значения остатков. Остатки вычисляются как разность между эмпирическими значениями величины у и теоретически вычисленными значениями . результативного признака Y.

Наконец, на рисунке 7 показаны вычисленные интервалы перцентилей и соответствующие им эмпирические значения у.

Перцентиль обобщает информацию о рангах, характеризуя значение, достигаемое заданным процентом общего количества данных, после того, как данные упорядочиваются (ранжируются) по возрастанию.

Перцентили — это характеристики набора данных, которые выражают ранги элементов в виде процентов от 0 до 100%, а не в виде чисел от 1 до n, таким образом, что наименьшему значению соответствует нулевой перцентиль, наибольшему — 100-й, медиане — 50-й и т.д.

П
Рис. 6

Рис.6
ерцентили можно рассматривать как показатели, разбивающие наборы количественных и порядковых данных на определенные части. Например, 70-й перцентиль эффективности продаж может быть равен 60 т ыс. руб. (измерен не в процентах, а в рублях, как и элементы набора данных). Если этот 70-й перцентиль, равный 60 тыс. руб., характеризует деятельность определенного агента по продажам (например, Александра), то это означает, что приблизительно 70% других агентов имеют результаты ниже, чем у Александра, а 40% имеют более высокие результаты.

Под рангом (R) понимают номер (порядковое место) значения случайной величины в наборе данных

П
Рис.7
ереходя к анализу полученных расчетных данных, можно построить уравнение регрессии с вычисленными коэффициентами, которое будет выражать зависимость объема производства от количества работников.


Значение множественного коэффициента детерминации R2= 0,79 (рис. 10.3) показывает, что 79% общей вариации результативного признака объясняется вариацией факторного признака X. Значит, выбранный фактор существенно влияет на объем производства, что подтверждает правильность включения его в построенную модель.

Рассчитанный уровень значимости (показатель Значимость F на рисунке 4) подтверждает значимость величины R2. Следующим этапом является проверка значимости коэффициентов регрессии Ь0 и b1, При парном сравнении коэффициентов и их стандартных ошибок (см. рисунок 5) можно сделать вывод, что вычисленные коэффициенты являются значимыми. Этот вывод подтверждается величиной Р-значения, которое меньше уровня значимости α = 0,05.

Проверка значимости коэффициента детерминации R2 и коэффициентов регрессии Ь0 и b1, при факторном признаке подтверждает адекватность полученного уравнения.

Похожие:

Занятие №10 Регрессионный анализ iconРабочей программы дисциплины «Прикладной регрессионный анализ» Дисциплина «Прикладной регрессионный анализ»
...
Занятие №10 Регрессионный анализ iconЛабораторная работа «Регрессионный анализ в spss»
Расчёт корреляции характеризует силу связи между двумя переменными, а регрессионный анализ служит для определения вида этой связи...
Занятие №10 Регрессионный анализ icon«Линейный регрессионный анализ»
Предполагая, что валовый выпуск зависит линейно от фондовооруженности и производительности труда построить линеную регрессионную...
Занятие №10 Регрессионный анализ iconЛекция 31. Анализ и интерпретация результатов машинного моделирования. Корреляционный анализ результатов моделирования. Регрессионный анализ результатов моделирования. Дисперсионный анализ результатов моделирования
...
Занятие №10 Регрессионный анализ iconАнализ данных маркетинговых исследований: Корреляционно-регрессионный анализ и анализ временных рядов с использованием статистического пакета spss 8-9 июня 2007 год
Ассов Асхата Кутлалиева – руководителя Информационно-аналитического центра гфк-русь, преподавателя факультета социологии Государственного...
Занятие №10 Регрессионный анализ iconКорреляционно-регрессионный анализ
Эта задача может быть решена на основе параллельного сопоставления (сравнения) значений х и у у п единиц совокупности
Занятие №10 Регрессионный анализ iconВопросы к экзамену по дисциплине «модели и методы анализа проектных решений»
Корреляционно-регрессионный анализ. Понятие выборки, ошибки. Доверительный интервал и доверительная вероятность
Занятие №10 Регрессионный анализ iconЛекция №6 Корреляционный и регрессионный анализ
Понятие регрессии (латинское "regressio" движение назад) также введено Ф. Гальтоном, который, изучая связь между ростом родителей...
Занятие №10 Регрессионный анализ iconМногомерный регрессионный анализ
...
Занятие №10 Регрессионный анализ icon1. Основные понятия статистики Тема Сводка и группировка статистических данных. Ряды распределения
Тема Модели статистической взаимосвязи и их кореляционно-регрессионный анализ
Разместите кнопку на своём сайте:
ru.convdocs.org


База данных защищена авторским правом ©ru.convdocs.org 2016
обратиться к администрации
ru.convdocs.org