Выбор источника
Загрузите файл с IP или выберите период внешних рекламных отчётов.
Как устроено
Это альтернативные входы. CSV/ZIP/GZIP поступают в обработку файлов, а Celery-цепочки загрузки и ETL обслуживают ветку отчётов.
Сервис сегментации и выгрузки рекламного трафика
Конвейер анализа трафика: рекламные отчёты, контекст IP и фильтрация с проверкой полноты данных.
О проекте
Что делает сервис
Приложение для анализа рекламного трафика. Пользователь загружает файл с IP-адресами либо выбирает период рекламных отчётов, затем фильтрует данные по географии, диапазонам IP, числу кликов или показов и числу депозитов. Результат можно скачать; в одном из процессов список также отправляется в настроенный рекламный сервис.
Объёмные рекламные отчёты сложно разбирать вручную. Операторам нужны воспроизводимые критерии отбора IP-адресов и диапазонов и способ превратить результат в рабочую выгрузку.
Кто пользуется
Аналитики трафика и специалисты рекламных операций, которые разбирают большие отчёты и формируют повторяемые сегменты IP или аудитории.
Что на входе
- Файл CSV/ZIP/GZIP либо выбранный период рекламной отчётности.
- Фильтры по географии, IP/CIDR, кликам, показам и депозитам.
- Импортированные ежедневные отчёты для аналитических фильтров.
Что на выходе
- CSV-файл с отобранным сегментом IP.
- Прогресс задачи и ошибки, видимые в интерфейсе.
- В одном настроенном процессе — отправка списка во внешний рекламный сервис.
Условия работы системы
- Ежедневные внешние отчёты загружаются в аналитическое хранилище.
- Фильтрация зависит от полноты данных за заданный интервал.
- IP- и географический контекст помогают интерпретировать трафик.
- Результаты выгружаются или опционально отправляются во внешний чёрный список.
01 / Как работает сервис
Файл IP или отчёт → фильтрация трафика → выбранный сегмент
Карта процессаСплошная линия: обычный ход · пунктир: повтор или возврат
- ВХОДЗагрузить файл IP
Входной CSV, ZIP или GZIP
ДалееНормализовать адреса - ШАГНормализовать адреса
Подготовить IP и диапазоны
ДалееФильтровать файл - СЕРВИСФильтровать файл
GeoIP и операции с диапазонами
ДалееСкачать сегмент - РЕЗУЛЬТАТСкачать сегмент
CSV-результат для оператора
- ВХОДВыбрать даты отчёта
Загруженные рекламные данные
ДалееПодготовить отчёты - СЕРВИСПодготовить отчёты
Ежедневная загрузка в аналитическое хранилище
ДалееВсе даты на месте? - РАЗВИЛКАВсе даты на месте?
Пропущенные дни останавливают неполный расчёт
полный периодПрименить фильтрыесть пропускиПоказать пропуски - СЕРВИСПрименить фильтры
IP, user-agent, число кликов/показов или депозиты
ДалееСкачать или отправить список - РЕЗУЛЬТАТСкачать или отправить список
CSV и дополнительная настроенная отправка
- РЕЗУЛЬТАТПоказать пропуски
Попросить полный период отчётов
02 / Архитектура системы
Основные части и их роль
Подготовка данных
Каждый источник готовится для своего способа фильтрации.
Как устроено
Файловая ветка приводит IPv4 и mapped IPv6 к единому виду. Ветка отчётов загружает данные во временные таблицы ClickHouse и обновляет нужные партиции по датам.
Проверка готовности
Состояние задачи отслеживает входные данные; фильтры отчётов дополнительно проверяют покрытие дат.
Как устроено
PostgreSQL хранит метаданные задач и файлов. Поиск пропущенных дат относится к аналитическим отчётам, а не ко всем загрузкам файлов.
Настроить фильтры
В выбранном режиме фильтры отбирают адреса по географии, числу событий или диапазонам IP.
Как устроено
Для загруженного файла GeoIP2 добавляет данные о местоположении, после чего сервис применяет фильтры IP и диапазонов. В отчётах ClickHouse фильтрует по IP, user-agent, кликам, показам, депозитам или CIDR.
Показать ход выполнения
Интерфейс показывает ход выполнения, состояние результата и ошибки.
Как устроено
PostgreSQL хранит состояние задачи и сведения о файле. Интерфейс по этим данным показывает прогресс и результат фильтрации.
Выгрузить результат
Результат можно скачать или отправить в настроенный рекламный сервис.
Как устроено
Сервис создаёт CSV-файл. В настроенном процессе выбранный список также отправляется в рекламную платформу.
03 / Детали реализации
Инженерные решения
Разделить операционные и аналитические данные
PostgreSQL хранит состояние приложения, ClickHouse обслуживает аналитические запросы к отчётам.
Учитывать неполные периоды
Наличие данных становится условием осмысленной фильтрации.
Довести анализ до действия
Фильтр формирует выгрузку, которую оператор может использовать в рекламном процессе.
Разработка приложений для бизнеса
Есть задача для разработки?
Расскажите, что должно делать приложение, как команда работает сейчас и какие требования или сроки важно учесть.