Лекция 10 Метод наименьших квадратов мнк-оценка вектора параметров

Лекция 10 Метод наименьших квадратов МНК-оценка вектора параметров Классическим вариантом оценивания параметров по наблюдениям, осложненным шумами, является метод наименьших квадратов (МНК). В этом случае наблюдения заданы в дискретные моменты времени, причем m=1, так что – скалярная величина. Матрица C(k) превращается в матрицу-строку. Для того чтобы сохранить традиционные для МНК обозначения, примем Таким образом уравнения наблюдений принимают вид Пусть В матричном виде уравнение принимает вид Допустим, что мы располагаем оценкой , но погрешность r , естественно, нам неизвестна. Тогда можно предвычислить наблюдения или в матричной форме Теперь можно построить остаточные разности указывающие на рассогласование наблюдений и вычисленных значений . Задача МНК-оценивания состоит в таком выборе вектора параметров , чтобы минимизировать критерий качества, заданный в виде квадратичной формы В матричном виде этот критерий имеет вид где Здесь Q – пока не определенная весовая матрица, обладающая свойством симметрии. Дифференцируя I по и приравнивая результат нулю, получим нормальные уравнения (10.1) Следовательно, МНК-оценка вектора параметров имеет вид (10.2) Погрешность оценки равна Определим ковариационную матрицу погрешности оценки где R – ковариационная матрица ошибок измерений: . Полагая измерения независимыми, мы получим поэтому R – диагональная матрица , элементами которой являются дисперсии ошибок измерений. Очевидно, что для (10.3) будем иметь (10.4) В частном, но довольно распространенном случае, когда измерения равноточны, ковариационная матрица ошибки измерений имеет вид так что Величина называется дисперсией единицы веса, диагональные элементы матрицы – дисперсиями погрешностей составляющих вектора x. Формула (10.2) показывает, что весовая матрица Q может быть определена с точностью до постоянного множителя. Действительно, заменяя Q на получим тот же результат Обозначим через вес измерения в момент . Весовая матрица (10.3) будет иметь вид (10.5) а ковариационная матрица оценки – – (10.6) будет отличаться от вида (10.5) множителем . Для априорной оценки величину дисперсии единицы веса нужно задать. Однако при достаточно большом объеме измерений оценку этой величины можно определить и апостериорно, т.е. после обработки данных измерений. Приведем эту формулу без вывода . Отличие от будет говорить о том, что число избыточных наблюдений недостаточно велико, неудачно выбрана система весов наблюдений, дисперсии не отражают реальную точность, измерения содержат систематические ошибки. Наконец, результат МНК-оценивания записывают в виде где – средняя квадратическая ошибка вектора x, , – j-й диагональный элемент матрицы . Теорема Гаусса–Маркова Теорема Гаусса–Маркова утверждает, что МНК-оценка является наилучшей в том смысле, что ее ковариационная матрица является наименьшей. Квадратная матрица больше другой квадратной матрицы , если разность – положительно определенная матрица. Напомним, что матрица С является положительно определенной, если для любого вектора имеет место неравенство . Итак, МНК-оценка имеет вид Обозначим . Тогда . Эта оценка несмещенная, ибо при получим ибо Предположим, что существует другая несмещенная оценка , для которой выполняется равенство Для несмещенности необходимо т.е Итак, матрица должна быть псевдообратной матрицей по отношению к матрице A. Аналогично поэтому Вычислим ковариационную матрицу оценки : где – ковариационная матрица шумов измерения. Аналогично Образуем разность и выполним небольшие преобразования Однако так как , а Матрица также равна нулю, так как она является транспонированной к нулевой матрице Итак, Полученная матрица неотрицательно определена. Это легко доказать. Из теории случайных векторов известно, что ковариационная матрица случайного вектора положительно определена. Рассмотрим следующий случайный вектор Ковариационная матрица этого вектора имеет вид Матрица принимает минимальное значение, равное нулю при Следовательно, Полученное неравенство и доказывает теорему. Пример 1. Решить систему уравнений с помощью метода наименьших квадратов: +0,150 Точные значения и известны и равны соответственно 1,000 и –1,000. Выборочная дисперсия погрешностей правой части системы равна Следуя схеме МНК, находим нормальные уравнения , откуда Определим остаточные разности Значения их приведены справа от системы уравнений. Апостериорную оценку дисперсии единицы веса вычислим по формуле Отличие апостериорной оценки от априорной объясняется недостаточным объемом данных, хотя оно, по-видимому, не значимо. Ковариационная матрица системы имеет вид Следовательно, = =–0,98.

Похожие:

	Метод наименьших квадратов. Регрессионный и корреляционный анализ в медицинских исследованиях Метод наименьших квадратов используется для расчетов параметров функции заданного вида, наилучшим образом отражающую зависимость...		Вопрос №4: Предпосылки метода наименьших квадратов, гомоскедастичность, гетероскедастичность, понятие о методе максимального правдоподобия Метод наименьших квадратов — один из методов регрессионного анализа для оценки неизвестных величин по результатам измерений, содержащих...
	Оценивание геометрических параметров, вместимости вертикальных цилиндрических резервуаров и их неопределенности по методу наименьших квадратов		Лабораторная работа №1 Тема: Регрессионный анализ. Уравнение линейной парной регрессии Константу a0 также называют свободным членом, а угловой коэффициент коэффициентом регрессии. Параметры уравнения могут быть определены...
	Теория математической обработки геодезических измерений. Метод наименьших квадратов		Лабораторная работа по теме: метод наименьших квадратов дисциплина «Численные методы»
	Конспект лекции 3 (часть 2) В. М. Малашенко Применение обобщенного метода наименьших квадратов для оценивания параметров эконометрических моделей		Вопросы к экзамену по дисциплине «Численные методы» Метод наименьших квадратов. Нахождение приближающей функции в виде линейной функции
	Нелинейный метод наименьших квадратов Свойства оптимальности оценки нк, доказанные в линейном случае, целиком основывались на линейности модели (5’) гл. 1 по  и на линейности...		Метод Гаусса в математике Историческая справка Гаусса), теории электричества и магнетизма, геодезии (разработка метода наименьших квадратов) и многих разделов астрономии