Хранилище данных для телекома: как устроены DWH и DMP

10 декабря 2020 г. · обновлено 15 сентября 2026 г.

Хранилище данных собирает информацию из систем оператора, приводит ее к единому виду и отдает витрины во внешние BI-системы. Главный практический эффект — тяжелые аналитические запросы перестают выполняться на продуктивном биллинге, где они конкурируют с тарификацией за ресурсы. Схема загрузки бывает двух видов: преобразование до загрузки или после нее.

Хранилище данных собирает информацию из систем оператора, приводит ее к единому виду и отдает готовые срезы тем, кто с ними работает: аналитикам, BI-инструментам, системам маркетинга.

Состав продукта — на странице Forward DMP.

Зачем это выносить из биллинга

Тип работы	Где выполняется	Почему
Операционный отчет	Продуктивная расчетная система	Короткий, нужен сразу, читает мало данных
Сводная аналитика	Хранилище	Читает много данных за длинный период
Корреляция источников	Хранилище	Данные из разных систем нужно сначала сопоставить
Профиль клиента	Хранилище	Агрегаты по потреблению, платежам и обращениям
Реакция на событие	Система маркетинга в реальном времени	Решение нужно за секунды, а не по расписанию

Граница между первой и второй строкой проводится на этапе обследования и обычно проходит не там, где ее ожидают: часть привычно «тяжелых» отчетов после нормализации данных считается быстро, а часть коротких на вид запросов читает половину базы.

Два порядка загрузки

ETL — преобразование до загрузки. В хранилище попадает уже приведенный к нужному виду набор. Экономит место, дает предсказуемую структуру, но изменившаяся задача требует новой загрузки.

ELT — преобразование внутри хранилища. Сырые данные загружаются как есть, а обработка выполняется на месте. Занимает больше места, зато позволяет пересчитать иначе, когда вопрос к данным изменился.

Выбор зависит от того, насколько стабильны требования к отчетности. Там, где набор отчетов меняется каждый квартал, второй порядок обычно оказывается дешевле в сумме.

Витрины

Витрина — это подготовленный под задачу срез: агрегаты, показатели, признаки. BI-инструмент читает витрину, а не сырые таблицы, поэтому отчет строится быстро и одинаково у всех, кто им пользуется.

Обновляются витрины по расписанию, своему у каждой. Реальное время для хранилища избыточно: сценарии, которым нужна мгновенная реакция, работают в Forward RTM на живых событиях.

С чего начинать

Со списка решений, которые должны приниматься на этих данных. Хранилище, построенное «на всякий случай», наполняется и не используется: никто не знает, какие вопросы к нему задавать.

Обратный порядок — от конкретного вопроса, на который бизнес хочет получать ответ регулярно, — сразу задает состав источников, глубину истории и структуру витрин.

В проектах

В РБК на данных контура работала система персональных офферов и маркетинговых кампаний. В «Альфа-Мобайл» аналитическая часть входила в состав платформы виртуального оператора.

Вопросы и ответы

Зачем оператору отдельное хранилище?

Чтобы разделить два типа работы. Расчетная система занята тарификацией и закрытием периода; тяжелый запрос по всей базе за год мешает ей это делать. Повседневные операционные отчеты остаются на продуктивной системе, а сводная аналитика и корреляция разнородных данных уходят в хранилище.

Чем DWH отличается от DMP?

В отраслевой практике термины часто используются как синонимы, и разница скорее в акценте. Хранилище данных описывает способ организации: собрать, привести к единому виду, хранить историю. Платформа управления данными делает акцент на применении — профилях, сегментах, витринах для систем, которые работают с клиентом. На практике речь об одном контуре.

Что такое ETL и ELT?

Два порядка загрузки. При ETL данные преобразуются до попадания в хранилище: в него ложится уже приведенный к нужному виду набор. При ELT сырые данные загружаются как есть, а преобразование выполняется внутри хранилища. Первый экономит место и дает предсказуемую структуру, второй сохраняет исходные данные и позволяет пересчитать иначе, когда задача изменилась.

Что такое витрина данных?

Подготовленный под конкретную задачу срез: агрегаты, показатели и признаки, которые нужны для отчета или для работы другой системы. BI-инструмент читает витрину, а не сырые таблицы, поэтому отчет строится быстро и одинаково у всех, кто им пользуется.

Как часто обновляются данные?

По расписанию, свое у каждой витрины. Регулярная отчетность обновляется реже, данные для маркетинговых сценариев чаще. Обновление в реальном времени для хранилища обычно избыточно: сценарии, которым нужна мгновенная реакция, работают в системе маркетинга в реальном времени на живых событиях.

С чего начинать проект?

Со списка отчетов и решений, которые должны появиться. Хранилище, построенное «на всякий случай», наполняется данными и не используется. Обратный порядок — от конкретного вопроса, на который бизнес хочет получать ответ регулярно, — задает и состав источников, и структуру витрин.