Сбор данныхПри получении данных обычно выделяют два крупных направления мониторинга:
Цифровые источники. Для этого применяется парсинг и граббинг, позволяющий получить информацию с сайтов или файлов по заданным алгоритмам. Робот эмулирует поведение обычного покупателя и собирает доступную информацию. При этом, с учетом увеличения количества ботов, сайты защищаются от парсинга и блокируют подозрительные IP-адреса. «Гонка вооружений» ведется 24/7. При сборе информации с маркетплейсов необходимо учитывать, что в России нет безусловного лидера рынка наподобие Amazon. Представленность товаров на том или ином маркетплейсе не может отражать ситуацию на всем рынке.
Розничные магазины. В большинстве случаев мониторинг цен может быть проведен в интернете — с усилением борьбы за потребителя офлайн-ритейлеры размещают информацию о ценах и количестве доступного товара в своих розничных магазинах на сайтах. При недоступности такой информации её могут добыть аудиторы. Здесь без человека не обойтись, поскольку по-другому легально достать информацию невозможно. Способ сбора с использованием человека более трудозатратен, однако для некоторых сфер, таких как продуктовый
ритейл, он является единственно возможным.
Сопоставление товаровВ разных источниках одна и та же продукция может называться по-разному. Поэтому ее необходимо сопоставить и классифицировать. Экспертные статистические системы нечеткого поиска позволяют автоматически сопоставлять товары с высоким качеством по нескольким параметрам, учитывая сокращения, словоформы, изображения, проверкам по цене и другим аспектам. Похожая технология используется в почтовых сервисах, где система принимает решение о том, является ли входящее письмо спамом или нет.
Обмен даннымиРезультаты мониторинга рыночных цен на товары должны предоставляться в требуемом вам виде в зависимости от стоящих целей. При обработке больших объемов используется передача данных через API, при работе с небольшим количеством позиций удобно использовать веб-интерфейс, а, например, при необходимости своевременно реагировать на снижение цен платформа должна высылать уведомление на email со ссылкой на кеш страницы товара в качестве подтверждения.