Parsing X · Технологии · Архитектура
Архитектура платформы
Высокоуровневое устройство контура сбора, обработки и хранения данных.
Архитектура Parsing X построена как единый контур данных, где каждый модуль отвечает за свой этап: сбор, обработка, хранение и доставка результата до команд клиента.
Благодаря такому разделению мы можем стабильно выполнять SLA по обновлениям, поддерживать историю изменений и улучшать качество данных без “переписывания” всей платформы.
- Сбор данных: crawler и сбор через API с контролем расписаний и лимитов источников.
- Нормализация и SKU matching: привязка карточек к единому эталону, устранение дублей и разночтений.
- Хранение и история: версия данных, контроль полноты и отслеживание изменений во времени.
- Мониторинг качества: метрики задержек, полноты, стабильности и алерты по отклонениям.
- Витрины и доставка: выгрузки, витрины для DWH/BI и выдача данных через API.
- Наблюдаемость: логи, трассировка цепочек и прозрачные отчёты по SLA.
- Контроль целостности: проверяем полноту и корректность связей между сущностями.
В итоге вы получаете предсказуемую систему: данные обновляются по расписанию, обрабатываются одинаково для всех источников и остаются пригодными для анализа.
В контуре данных мы придерживаемся двух принципов: воспроизводимость обработки и прозрачный контроль качества. Это позволяет быстро разбираться в причинах изменений и поддерживать стабильность отчётов.
Отдельное внимание уделяем тому, чтобы клиент понимал, “что именно” попадает в витрины и как обновления влияют на отчёты. Это снижает разрыв между данными и управленческими решениями.