Добрый день, уважаемые читатели блога statanaliz.info.

Подоспела очередная статья на тему статистических группировок. Из предыдущей статьи мы узнали, какое важное место в нашей жизни занимает группировка данных, и как часто мы с ней сталкиваемся. В данной публикации продолжим знакомство с обозначенной темой.

Ранее было предложено все группировки разделить на два вида: логические и статистические, что, если честно, не совсем соответствует принятой в статистике классификации типов группировок. В теории выделяют три вида: типологические (по готовым признакам), структурные (в зависимости от уровня показателя) и аналитические (для анализа взаимосвязей). Такой срез в целом дает хорошее представление о методе, однако я решил его упростить, оставив только два вида группировок (с расчетом и без расчета группировочного признака). Чем проще, тем, я считаю, понятнее и практичнее. А практика, как известно, – критерий всего.

С логическими группировками все относительно просто. Они представляют собой разбивку данных по уже существующим категориям. Это констатация факта: страны делятся по континентам, животные по родам, товары по торговым маркам и т.д. Рассчитывать здесь нечего, и это, пожалуй, самый простой способ группировки данных, уже почти готовый. Нужно только правильно оформить результат, и сделать это можно, например, в виде таблицы Excel. Вся соль заключается в статистических группировках, которые базируются на расчетных показателях.

Как и другие статистические методы, группировка может быть простой и понятной, а может быть сложной и трудной для понимания. Простые группировки производятся разделением данных по очевидным признакам, сложные – с использованием эконометрических методов и нейронных сетей. Однако прежде, чем приступать к описанию методов группировок, определимся с терминологией.

Под группой будем понимать часть данных из анализируемой совокупности, элементы которой объединены общим значением группировочного признака (признаков). Данные могут группироваться по единственному значению группировочного признака (например, товары по отдельным поставщикам), либо по набору или интервалу значений признака (например, товары с объемом продаж в заданных пределах). С единственным значением показателя понятно: какое значение, такая группа. А вот для определения интервалов значений вначале требуется определить их границы.

Границы интервалов – это такие значения классификационно признака, которые определяют принадлежность элемента к группе. Если значение элемента находится между заданными границами, то элемент попадает в указанную группу, если за пределами границ – не попадает. Границы могут устанавливаться или рассчитываться. То есть еще до непосредственного разнесения данных по группам нужно определить границы, которые эти группы будут разделять. Такая задачка может быть совсем не тривиальной и, как правило, не иметь однозначного решения. Знатоки могут подтвердить, что в АВС-анализе не всегда используется соотношение 80/20, может быть и 90/10, и 70/30.

Важной характеристикой группы является ее размер, то есть количество входящих в нее элементов. Размеры групп также могут устанавливаться и рассчитываться. Все зависит от цели анализа. Количество значений в группе – очень важная характеристика.

Теперь перейдем к способам группировки данных. Самая простая группировка – это разбивка исходных данных на одинаковые по размеру группы. Для этого вначале обычно определяют количество групп. Размер группы, как нетрудно догадаться, будет рассчитываться путем деления общего количества данных на количество групп. Размер групп может задаваться сразу в виде долей от общего количества значений (квартиль – 25%, дециль – 10% и т.д.). Иногда ставится обратная задача. По заданному размеру групп нужно определить их количество. Элементарно: количество исходных значений делим на размер группы. 6-й класс средней школы.

В общем, с размером и количеством одинаковых групп все тривиально. Но! Большое значение имеет состав группы. Если данные отбирать в случайном порядке, то получится как в спортлото – случайный набор значений в каждой группе. Группы же данных должны отличаться друг от друга хотя бы по одному признаку. В противном случае теряется всякий смысл группировки, как метода анализа данных. В большинстве случаев перед проведением группировки данные ранжируют (сортируют по возрастанию или убыванию). Дальнейшее разделение данных на группы идет уже с учетом ранжирования, и значения в разных группах будут отличаться по уровню группировочного показателя.

В качестве примера возьмем данные об объемах продаж 30 товаров. Числа взяты случайным образом от 0 до 100 (денежных единиц) и отсортированы по убыванию. Сразу для наглядности изобразим график.

Допустим, мы хотим разделить исходные данные на 3 одинаковые группы. Всего 30 товаров, поэтому в каждой группе будет по 10 товаров.

При такой группировке товары в разных группах будут отличаться уровнем продаж. В первой группе – наиболее продаваемые товары, во второй – менее продаваемые, в третьей – плохо продаваемые. Границы групп будут получены уже расчетным путем (смотрим значение первого и последнего товара в группе). В первую (наиболее продаваемую группу) войдут 10 товаров с продажами от 100 до 75 денежных единиц. Во вторую – от 75 до 32 денежных единиц. В последнюю – от 32 до 0. После выделения групп обычно рассчитываются различные групповые статистические показатели: среднее, максимальное и минимальное значение, показатели вариации и проч. Все опять же зависит от целей. В реальности подобные группировки встречаются, например, при анализе ассортимента, когда выделяются топовые товары (топ-10, топ-20 и т.д.). Также используется в демографической статистике, когда анализируется расслоение общества по уровню доходов. Берутся доходы 20% самой богатой и 20% самой бедной части населения. Их соотношение дает характеристику расслоения общества по доходам. В общем, подобный метод на практике имеет место.

Количество групп обычно задается принудительно, исходя из некоторой логики. Однако статистика предлагает и формулу для расчета «оптимального количества групп». Расчет производится по так называемой формуле Стерджесса:

где, n - расчетное количество групп, N – количество значений в анализируемой совокупности.

Я лично ни разу не видел, чтобы формула Стерджесса находила свое применение с пользой для дела. Кто-то придумал, кто-то подхватил и сейчас это в любом учебнике по статистике. Если вдруг кто-либо из читателей блога встречал практическое использование указанной формулы, просьба написать в комментарии.

Надо отметить, что размеры групп не всегда обязательно должны быть равными. Если того требует ситуация, размеры могут задаваться разными. Группы также могут объединяться, или наоборот, детализироваться. В общем, все в руках аналитика. Главное, чтобы польза была.

Логика группировки по заданному количеству элементов заключается в выделении нужного количества значений независимо от их уровня. Значения элементов в группах смотрятся уже по факту. В противовес такому подходу существует выделение групп по уровню группировочного показателя, для чего задаются интервалы значений, которые разделяют группы. В этом случае размер групп – уже как получится. По моим наблюдениям такой подход используется чаще предыдущего, так как более четко определяется качество групп. Качество групп, думается, более важно, чем количество.

Для определения равномерных интервалов используют формулу:

где i – длина интервала, x_max и x_min максимальное и минимальное значение группировочного признака, n – количество групп.

Давайте посмотрим на наш пример с 30 товарами. Допустим, мы снова хотим разделить данные на 3 группы, на этот раз с равномерными интервалами значений. Первая группа получится в пределах от 100 до 67 денежных единиц, вторая – от 66 до 34, третья – от 33 до 0 (100 делим на 3 от отмечаем границы на промежутке от 100 до 0 – надеюсь, здесь все очевидно). Сортировку произвели по убыванию, поэтому диапазоны несколько непривычны (в обратном порядке).

Результат произведенной группировки существенно отличается от предыдущей, с одинаковыми размерами групп (пунктиром указаны границы группировки по равным размерам групп). И это при том, что данные равномерно распределены в диапазоне от 0 до 100. Если бы данные были распределены не равномерно, как это бывает на самом деле, то отличие было бы еще больше.

В реальности группировка с равными интервалами встречается достаточно часто. Можно вспомнить ту же демографическую статистику с разделением населения по возрастным группам.

Интервалы, как и размеры групп, не всегда в обязательном порядке должны быть равными. Равные интервалы, скорее, бывают ориентиром или основой группировки. Однако некоторые группы могут расширяться или, наоборот, сужаться. Например, в возрастных группах последняя не имеет предела, так как люди могут жить и 100 и более лет. При этом их количество относительно мало, поэтому они могут объединиться в группу «90 лет и старше». В анализе ассортимента часто выделяют не все группы, а только те товары, уровень продаж которых выше или ниже определенного значения. Все опять же подчинено цели анализа. В общем, в интервальной группировке есть место, где развернуться творчеству и аналитика.

Итак, одними из самых простых способов статистической группировки является разбивка данных на группы одинакового размера или с равными интервалами значений. Каждый из методов направлен на решение своей задачи, поэтому рекомендаций по выбору не существует. Оба способа из-за своей простоты и наглядности используются достаточно широко. Если проведенная группировка не удовлетворяет аналитика, ее можно повторить, изменив количество групп или интервалы. Простые методы часто обладают преимуществом перед сложными из-за того, что позволяют сколько угодно экспериментировать с расчетами.