И др. Все они являются оценками своих теоретических аналогов, которые можно было бы получить, если бы в распоряжении была не выборка, а генеральная совокупность. Но увы, генеральная совокупность – это очень дорого и часто недоступно.
Понятие об интервальном оценивании
Любая выборочная оценка обладает некоторым разбросом, т.к. является случайной величиной, зависящей от значений в конкретной выборке. Стало быть, для более надежных статистических выводов следует знать не только точечную оценку, но и интервал, который с высокой вероятностью γ (гамма) накрывает оцениваемый показатель θ (тета).
Формально, это два таких значения (статистики) T 1 (X) и T 2 (X) , что T 1 < T 2 , для которых при заданном уровне вероятности γ выполняется условие:
Короче, с вероятностью γ или больше истинный показатель находится между точками T 1 (X) и T 2 (X) , которые называются нижней и верхней границей доверительного интервала .
Одним из условий построения доверительных интервалов является его максимальная узость, т.е. он должен быть насколько это возможно коротким. Желание вполне естественно, т.к. исследователь старается точнее локализовать нахождение искомого параметра.
Отсюда следует, что доверительный интервал должен накрывать максимальные вероятности распределения. а сама оценка быть в центре.
То бишь вероятность отклонения (истинного показателя от оценки) в большую сторону равна вероятности отклонения в меньшую сторону. Следует также отметить, что для несимметричных распределений интервал справа не равен интервалу слева.
По рисунку выше отчетливо видно, что чем больше доверительная вероятность, тем шире интервал – прямая зависимость.
Это была небольшая вводная часть в теорию интервального оценивания неизвестных параметров. Перейдем к нахождению доверительных границ для математического ожидания.
Доверительный интервал для математического ожидания
Если исходные данные распределены по , то и среднее будет нормальной величиной. Это следует из того правила, что линейная комбинация нормальных величин также имеет нормальное распределение. Следовательно, для расчета вероятностей мы могли бы использовать математический аппарат нормального закона распределения.
Однако для этого потребуется знать два параметра – матожидание и дисперсию, которые обычно не известны. Можно, конечно, вместо параметров использовать оценки (среднюю арифметическую и ), но тогда распределение средней будет не совсем нормальным, оно будет немного приплюснуто книзу. Этот факт ловко подметил гражданин Уильям Госсет из Ирландии, опубликовав свое открытие в мартовском выпуске журнала «Biometrica» за 1908 год. В целях конспирации Госсет подписался Стьюдентом. Так появилось t-распределение Стьюдента.
Однако нормальное распределение данных, использовавшееся К. Гауссом при анализе ошибок астрономических наблюдений, в земной жизни встречается крайне редко и установить это довольно сложно (для высокой точности необходимо порядка 2 тысяч наблюдений). Поэтому предположение о нормальности лучше всего отбросить и использовать методы, не зависящие от распределения исходных данных.
Возникает вопрос: каково же распределение средней арифметической, если оно рассчитано по данным неизвестного распределения? Ответ дает известная в теории вероятностей Центральная предельная теорема (ЦПТ). В математике существует несколько ее вариантов (на протяжении долгих лет формулировки уточнялись), но все они, грубо говоря, сводятся к утверждению, что сумма большого количества независимых случайных величин подчиняется нормальному закону распределения.
При расчете средней арифметической как раз используется сумма случайных величин. Отсюда получается, что среднее арифметическое имеет нормальное распределение, у которого матожидание – это матожидание исходных данных, а дисперсия – .
Умные люди умеют доказывать ЦПТ, но мы в этом убедимся с помощью эксперимента, проведенного в Excel. Смоделируем выборку из 50-ти равномерно распределенных случайных величин (с помощью функции Excel СЛУЧМЕЖДУ). Затем сделаем 1000 таких выборок и для каждой рассчитаем среднюю арифметическую. Посмотрим на их распределение.
Видно, что распределение средней близко к нормальному закону. Если объем выборок и их количество сделать еще больше, то сходство будет еще лучше.
Теперь, когда мы воочию убедились в справедливости ЦПТ, можно, используя , рассчитать доверительные интервалы для средней арифметической, которые с заданной вероятностью накрывают истинное среднее или математическое ожидание.
Для установления верхней и нижней границы требуется знать параметры нормального распределения. Как правило, их нет, поэтому используют оценки: среднюю арифметическую и выборочную дисперсию . Повторюсь, такой способ дает хорошее приближение только при больших выборках. Когда выборки малые, часто рекомендуют использовать распределение Стьюдента. Не верьте! Распределение Стьюдента для средней бывает только тогда, когда исходные данные имеют нормальное распределение, то есть почти никогда. Поэтому лучше сразу поставить минимальную планку по количеству необходимых данных и использовать асимптотически корректные методы. Говорят, достаточно 30 наблюдений. Берите 50 – не ошибетесь.
T 1,2 – нижняя и верхняя граница доверительного интервала
– выборочное среднее арифметическое
s 0 – среднее квадратичное отклонение по выборке (несмещенное)
n – размер выборки
γ – доверительная вероятность (обычно равна 0,9, 0,95 или 0,99)
c γ =Φ -1 ((1+γ)/2) – обратное значение функции стандартного нормального распределения. По-простому говоря, это количество стандартных ошибок от средней арифметической до нижней или верхней границы (указанным трем вероятностями соответствуют значения 1,64, 1,96 и 2,58).
Суть формулы в том, что берется среднее арифметическое и далее от нее откладывается некоторое количество (с γ ) стандартных ошибок (s 0 /√n ). Все известно, бери и считай.
До массового использования ПЭВМ для получения значений функции нормального распределения и обратной ей использовали . Их и сейчас используют, но эффективнее обратиться к готовым формулам Excel. Все элементы из формулы выше ( , и ) можно легко рассчитать в Excel. Но есть и готовая формула для расчета доверительного интервала – ДОВЕРИТ.НОРМ . Ее синтаксис следующий.
ДОВЕРИТ.НОРМ(альфа;стандартное_откл;размер)
альфа – уровень значимости или доверительный уровень, который в принятых выше обозначениях равен 1- γ, т.е. вероятность того, что математическое ожидание окажется за пределами доверительного интервала. При доверительной вероятности 0,95, альфа равно 0,05 и т.д.
стандартное_откл – среднее квадратичное отклонение выборочных данных. Стандартную ошибку рассчитывать не нужно, Excel сам разделит на корень из n.
размер – размер выборки (n).
Результат функции ДОВЕРИТ.НОРМ – это второе слагаемое из формулы расчета доверительного интервала, т.е. полуинтервал. Соответственно, нижняя и верхняя точка – это среднее ± полученное значение.
Таким образом, можно построить универсальный алгоритм расчета доверительных интервалов для средней арифметической, который не зависит от распределения исходных данных. Платой за универсальность является его асимптотичность, т.е. необходимость использования относительно больших выборок. Однако в век современных технологий собрать нужное количество данных обычно не представляет трудностей.
Проверка статистических гипотез с помощью доверительного интервала
{module 111}
Одной из главных задач, решаемых в статистике, является . Ее суть вкратце такова. Выдвигается предположение, например, что матожидание генеральной совокупности равно какому-то значению. Затем строится распределение выборочных средних, которые могут наблюдаться при данном матожидании. Далее смотрят, в каком месте этого условного распределения находится реальная средняя. Если она выходит за допустимые пределы, то появление такого среднего очень маловероятно, а при однократном повторении эксперимента почти невозможно, что противоречит выдвинутой гипотезе, которая успешно отклоняется. Если же среднее не выходит за критический уровень, то гипотеза не отклоняется (но и не доказывается!).
Так вот с помощью доверительных интервалов, в нашем случае для матожидания, также можно проверять некоторые гипотезы. Это очень просто сделать. Допустим, средняя арифметическая по некоторой выборке равна 100. Проверяется гипотеза о том, что матожидание равно, допустим, 90. То есть, если поставить вопрос примитивно, то он звучит так: может ли такое быть, чтобы при истинном значении средней равной 90, наблюдаемая средняя оказалась равна 100?
Для ответа на этот вопрос дополнительно потребуется информация о среднем квадратичном отклонении и размере выборки. Допустим среднеквадратичное отклонение равно 30, а количество наблюдений 64 (чтобы легко извлечь корень). Тогда стандартная ошибка средней равна 30/8 или 3,75. Для расчета 95% доверительного интервала потребуется отложить в обе стороны от средней по две стандартные ошибки (точнее, по 1,96). Доверительный интервал получится примерно 100±7,5 или от 92,5 до 107,5.
Далее рассуждения следующие. Если проверяемое значение попадает в доверительный интервал, то оно не противоречит гипотезе, т.к. укладывается в пределы случайных колебаний (с вероятностью 95%). Если проверяемая точка выходит за пределы доверительного интервала, то вероятность такого события очень маленькая, во всяком случае ниже допустимого уровня. Значит, гипотезу отклоняют, как противоречащую наблюдаемым данным. В нашем случае гипотеза о матожидании находится за пределами доверительного интервала (проверяемое значение 90 не входит в интервал 100±7,5), поэтому ее следует отклонить. Отвечая на примитивный вопрос выше, следует сказать: нет не может, во всяком случае такое случается крайне редко. Часто при этом указывают конкретную вероятность ошибочного отклонения гипотезы (p-level), а не заданный уровень, по которому строился доверительный интервал, но об этом в другой раз.
Как видим, построить доверительный интервал для среднего (или математического ожидания) несложно. Главное, уловить суть, а дальше дело пойдет. На практике в большинстве случаев используются 95% доверительный интервал, который имеет в ширину примерно две стандартные ошибки по обе стороны от средней.
На этом пока все. Всех благ!
Доверительный интервал – предельные значения статистической величины, которая с заданной доверительной вероятностью γ будет находится в этом интервале при выборке большего объема. Обозначается как P(θ - ε . На практике выбирают доверительную вероятность γ из достаточно близких к единице значений γ = 0.9 , γ = 0.95 , γ = 0.99 .Назначение сервиса . С помощью этого сервиса определяются:
- доверительный интервал для генерального среднего, доверительный интервал для дисперсии;
- доверительный интервал для среднего квадратического отклонения, доверительный интервал для генеральной доли;
Пример №1
. В колхозе из общего стада в 1000 голов овец выборочной контрольной стрижке подверглись 100 овец. В результате был установлен средний настриг шерсти 4,2 кг на одну овцу. Определить с вероятностью 0,99 среднюю квадратическую ошибку выборки при определении среднего настрига шерсти на одну овцу и пределы, в которых заключена величина настрига, если дисперсия равна 2,5 . Выборка бесповторная.
Пример №2
. Из партии импортируемой продукции на посту Московской Северной таможни было взято в порядке случайной повторной выборки 20 проб продукта «А». В результате проверки установлена средняя влажность продукта «А» в выборке, которая оказалась равной 6 % при среднем квадратическом отклонении 1 %.
Определите с вероятностью 0,683 пределы средней влажности продукта во всей партии импортируемой продукции.
Пример №3
. Опрос 36 студентов показал, что среднее количество учебников, прочитанных ими за учебный год, оказалось равным 6. Считая, что количество учебников, прочитанных студентом за семестр, имеет нормальный закон распределения со средним квадратическим отклонением, равным 6, найти:
А) с надежностью 0,99 интервальную оценку для математического ожидания этой случайной величины;
Б) с какой вероятностью можно утверждать, что среднее количество учебников, прочитанных студентом за семестр, вычисленное по данной выборке, отклонится от математического ожидания по абсолютной величине не больше, чем на 2.
Классификация доверительных интервалов
По виду оцениваемого параметра:
По типу выборки:
- Доверительный интервал для бесконечной выборки;
- Доверительный интервал для конечной выборки;
Расчет средней ошибки выборки при случайном отборе
Расхождение между значениями показателей, полученных по выборке, и соответствующими параметрами генеральной совокупности называется ошибкой репрезентативности .Обозначения основных параметров генеральной и выборочной совокупности.
| Формулы средней ошибки выборки | |||
| повторный отбор | бесповторный отбор | ||
| для средней | для доли | для средней | для доли |
 |
|||
Формулы расчета численности выборки при собственно-случайном способе отбора
Пусть случайная величина (можно говорить о генеральной совокупности) распределена по нормальному закону, для которого известна дисперсия D = 2 (> 0). Из генеральной совокупности (на множестве объектов которой определена случайная величина) делается выборка объема n. Выборка x 1 , x 2 ,..., x n рассматривается как совокупность n независимых случайных величин, распределенных так же как (подход, которому дано объяснение выше по тексту).
Ранее также обсуждались и доказаны следующие равенства:
Mx 1 = Mx 2 = ... = Mx n = M;
Dx 1 = Dx 2 = ... = Dx n = D;
Достаточно просто доказать (мы доказательство опускаем), что случайная величина в данном случае также распределена по нормальному закону.
Обозначим неизвестную величину M через a и подберем по заданной надежности число d > 0 так, чтобы выполнялось условие:
P(- a < d) = (1)
Так как случайная величина распределена по нормальному закону с математическим ожиданием M = M = a и дисперсией D = D /n = 2 /n, получаем:
P(- a < d) =P(a - d < < a + d) =
Осталось подобрать d таким, чтобы выполнялось равенство
Для любого можно по таблице найти такое число t, что(t)= / 2. Это число t иногда называют квантилем .
Теперь из равенства
определим значение d:
Окончательный результат получим, представив формулу (1) в виде:
Смысл последней формулы состоит в следующем: с надежностью доверительный интервал
покрывает неизвестный параметр a = M генеральной совокупности. Можно сказать иначе: точечная оценка определяет значение параметра M с точностью d= t / и надежностью.
Задача. Пусть имеется генеральная совокупность с некоторой характеристикой, распределенной по нормальному закону с дисперсией, равной 6,25. Произведена выборка объема n = 27 и получено средневыборочное значение характеристики = 12. Найти доверительный интервал, покрывающий неизвестное математическое ожидание исследуемой характеристики генеральной совокупности с надежностью =0,99.
Решение. Сначала по таблице для функции Лапласа найдем значение t из равенства (t) = / 2 = 0,495. По полученному значению t = 2,58 определим точность оценки (или половину длины доверительного интервала) d: d = 2,52,58 / 1,24. Отсюда получаем искомый доверительный интервал: (10,76; 13,24).
статистический гипотеза генеральный вариационный
Доверительный интервал для математического ожидания нормального распределения при неизвестной дисперсии
Пусть - случайная величина, распределенная по нормальному закону с неизвестным математическим ожиданием M, которое обозначим буквой a . Произведем выборку объема n. Определим среднюю выборочную и исправленную выборочную дисперсию s 2 по известным формулам.
Случайная величина
распределена по закону Стьюдента с n - 1 степенями свободы.
Задача заключается в том, чтобы по заданной надежности и по числу степеней свободы n - 1 найти такое число t , чтобы выполнялось равенство
или эквивалентное равенство
Здесь в скобках написано условие того, что значение неизвестного параметра a принадлежит некоторому промежутку, который и является доверительным интервалом. Его границы зависят от надежности, а также от параметров выборки и s.
Чтобы определить значение t по величине, равенство (2) преобразуем к виду:
Теперь по таблице для случайной величины t, распределенной по закону Стьюдента, по вероятности 1 - и числу степеней свободы n - 1 находим t. Формула (3) дает ответ поставленной задачи.
Задача. На контрольных испытаниях 20-ти электроламп средняя продолжительность их работы оказалась равной 2000 часов при среднем квадратическом отклонении (рассчитанном как корень квадратный из исправленной выборочной дисперсии), равном 11-ти часам. Известно, что продолжительность работы лампы является нормально распределенной случайной величиной. Определить с надежностью 0,95 доверительный интервал для математического ожидания этой случайной величины.
Решение. Величина 1 - в данном случае равна 0,05. По таблице распределения Стьюдента, при числе степеней свободы, равном 19, находим: t = 2,093. Вычислим теперь точность оценки: 2,093121/ = 56,6. Отсюда получаем искомый доверительный интервал: (1943,4; 2056,6).
ДОВЕРИТЕЛЬНЫЙ ИНТЕРВАЛ ДЛЯ МАТЕМАТИЧЕСКОГО ОЖИДАНИЯ
1. Пусть известно, что сл. величина x подчиняется нормальному закону с неизвестным средним μ и известной σ 2: X~N(μ,σ 2 ), σ 2 задано, μ не известно. Задано β. По выборке x 1, x 2, … , x n надо построить I β (θ) (сейчас θ=μ), удовлетворяющий (13)
Выборочное среднее (говорят также выборочная средняя) подчиняется нормальному закону с тем же центром μ, но меньшей дисперсией X~N (μ , D ), где дисперсией D =σ 2 =σ 2 /n.
Нам понадобится число К β , определяемое для ξ~N(0,1) условием
Словами: между точками -К β и К β оси абсцисс лежит площадь под кривой плотности стандартного нормального закона, равная β
Например, К 0,90 =1,645 квантиль уровня 0,95 величины ξ
K 0,95 = 1,96. ; К 0,997 =3 .
В частности, отложив от центра любого нормального закона 1,96 стандартных отклонений вправо и столько же влево, мы захватим площадь под кривой плотности, равную 0.95, в силу чего К 0 95 является квантилью уровня 0,95 + 1/2*0,005 = 0,975 для этого закона.
Искомый доверительный интервал для генерального среднего μ есть I А (μ) = (х-σ, х+σ),
где δ = 
(15)
Дадим обоснование:
По сказанному, сл. величина в интервал J=μ±σ попадает с вероятностью β (рис.9). В этом случае величина отклоняется от центра μ меньше, чем на δ , и случайный интервал ± δ (со случайным центром и такой же как у J ширины) накроет точку μ. То есть Є J <=> μ Є I β , а потому Р{μЄІ β } = Р{ Є J }=β.
Итак, постоянный по выборке интервал I β содержит среднее μ с вероятностью β.
Ясно, чем больше n, тем меньше σ и уже интервал, а чем больше мы берем гарантию β, тем доверительный интервал шире.
Пример 21.
По выборке с n=16 для нормальной величины с известной дисперсией σ 2 =64 найдено х=200. Построить доверительный интервал для генерального среднего (иначе говоря, для математического ожидания) μ, приняв β=0,95.
Решение. I β (μ)= ± δ, где δ = К β σ/ -> К β σ/ =1.96*8/ = 4
I 0.95 (μ)=200 4=(196;204).
Делая вывод, что с гарантией β=0,95 истинное среднее принадлежат интервалу (196,204), мы понимаем, что возможна ошибка.
Из 100 доверительных интервалов I 0. 95 (μ) в среднем 5 не содержат μ.
Пример 22.
Каким в условиях предыдущего примера 21 следует взять n, чтобы вдвое сузить доверительный интервал? Чтобы иметь 2δ=4, надо взять 
На практике часто пользуются односторонними доверительными интервалами. Так, если полезны или не страшны высокие значения μ, но не.приятны низкие, как в случае с прочностью или надежностью, то резонно строить односторонний интервал. Для этого следует максимально поднять его верхнюю границу. Если мы построим, как в примере 21, двусторонний доверительный интервал для заданного β, а затем максимально расширим его за счет одной из границ, то получим односторонний интервал с большей гарантией β" = β + (1-β) / 2 = (1+β)/2, например, если β = 0,90, то β = 0,90 + 0,10/2 = 0,95.
Например, будем считать, что речь идет о прочности изделия и поднимем верхнюю границу интервала до . Тогда для μ в примере 21 получим односторонний доверительный интервал (196,°°) с нижней границей 196 и доверительной вероятностью β"=0,95+0,05/2=0,975.
Практическим недостатком формулы (15)_является то, что она выведена в предположении, что дисперсия = σ 2 (отсюда и = σ 2 /n) известна; а это бывает в жизни редко. Исключение составляет случай, когда объем выборки велик, скажем, n измеряется сотнями или тысячами и тогда за σ 2 можно практически принять ее оценку s 2 или .
Пример 23.
Положим, в некотором большом городе в результате выборочного обследования жилищных условий жителей получена следующая таблица данных (пример из работы ).
Таблица 8
Исходные данные к примеру
Естественно допустить, что сл. величина X - общая (полезная) площадь (в м 2), приходящаяся на одного человека подчиняется нормальному закону. Среднее μ и дисперсия σ 2 не известны. Для μ требуется построить 95%-ный доверительный интервал. Чтобы по группированным данным найти выборочные средние и дисперсию, составим следующую таблицу выкладок (табл.9).
Таблица 9
Вычисления X и 5 по сгруппированным данным
| N группы з | Общая площадь в расчете на 1 человека, м 2 | Число жителей в группе г j | Середина интервала x j | r j x j | rjxj 2 |
| До 5.0 | 2.5 | 20.0 | 50.0 | ||
| 5.0-10.0 | 7.5 | 712.5 | 5343.75 | ||
| 10.0-15.0 | 12.5 | 2550.0 | 31875.0 | ||
| 15.0-20.0 | 17.5 | 4725.0 | 82687.5 | ||
| 20.0-25.0 | 22.5 | 4725.0 | 106312.5 | ||
| 25.0-30.0 | 27.5 | 3575.0 | 98312.5 | ||
| более 30.0 | 32.5 * | 2697.5 | 87668.75 | ||
| - | 19005.0 | 412250.0 |
В этой вспомогательной таблице по формуле (2) подсчитаны первый и второй начальные статистические моменты а 1 и а 2
Хотя дисперсия σ 2 здесь неизвестна, из-за большого объема выборки можно практически применить формулу (15), положив в ней σ= =7.16.
Тогда δ=k 0.95 σ/ =1.96*7.16/ =0.46.
Доверительный интервал для генерального среднего при β=0,95 равен I 0.95 (μ) = ± δ = 19 ± 0.46 = (18.54; 19.46).
Следовательно, среднее значение площади на одного человека в данном городе с гарантией 0.95 лежит в промежутке (18.54; 19.46).
2. Доверительный интервал для математического ожидания μ в случае неизвестной дисперсии σ 2 нормальной величины. Этот интервал для заданной гарантии β строится по формуле ,где ν = n-1 ,
(16)
Коэффициент t β,ν имеет тот же смысл для t – распределения с ν степенями свободы, что к β для распределения N(0,1), а именно:
.
Другими словами, сл. Величина tν попадает в интервал (-t β,ν ; +t β,ν) с вероятностью β. Значения t β,ν даны в табл.10 для β=0.95 и β=0.99.
Таблица 10.
Значения t β,ν
Возвращаясь к примеру 23, видим, что в нем доверительный интервал был построен по формуле (16) с коэффициентом t β,υ =k 0..95 =1.96, т. к. n=1000.