Система сбора, верификации, обработки и хранения данных ГК RWAY. В перспективе с общедоступной web-платформой

26.02.2018

Одной из важнейших задач Группы компаний RWAY является создание информационной системы сбора, верификации, обработки и коммерческого использования структурированной информации о рынках недвижимости всей России. Для этого потребовались годы напряженной работы, и сейчас уже можно сказать, что мы успешно эксплуатируем эту систему в штатном режиме.

Функциональной особенностью информационной системы является возможность в автоматизированном режиме обрабатывать большие массивы данных.
Еженедельно в информационной системе производится обработка около миллиона предложений, которые верифицируются на актуальность и адекватность по различным параметрам, как в автоматическом, так и в ручном режимах.
Наша система построена на сервисной архитектуре. Все алгоритмы используются как сервис-задачи и могут выполняться в асинхронном режиме, что позволяет выполнять обработку более миллиона объектов в сутки. 
Для реализации бесперебойной работы системы создан автоматизированный «конвейер» обработки данных, который задается пользовательским сценарием и работает без участия оператора. 
В основе лежит промышленная реляционная база данных, имеющая кластерную архитектуру, что позволяет легко масштабировать систему хранения под практически неограниченные объемы и обеспечить высокий уровень отказоустойчивости. 

Также система имеет шлюзы импорта/экспорта, что позволяет принимать на обработку и выгружать обработанные данные во всех популярных форматах. 
Созданы API вместе с внешней rest-службой для обмена данными с пользователями и партнерами. 
Реализованы сервисы геокодирования, проверки объекта недвижимости на вхождение в задаваемые полигоны (функциональные зоны, районы города и т.п.), применения транспортного графа в целях расчета транспортной доступности.
Большая работа проведена по созданию сервиса распознавания характеристик объекта недвижимости в текстовом описании. Ежедневно дополняются списки с ключевыми словами и дорабатываются методики, благодаря чему возможно структурирование важной информации по объекту недвижимости, которую часто можно встретить только в тексте описания.
Налажено автоматизированное взаимодействие со сторонними сервисами партнеров, специалистами своих областей, например, по извлечению и исправлению адресов, приведению их к ФИАС (Федеральная информационная адресная система). 

Над качеством данных специалисты RWAY работают и вручную, для чего создан удобный пользовательский интерфейс, который с помощью «тонкого клиента» доступен в любой точке мира с устройства, имеющего выход в Интернет.
Постоянно ведется мониторинг новых источников информации с предложениями по различным сегментам недвижимости. 
На основе многолетнего опыта и различных критериев, таких, как частота обновления, наличие обязательных характеристик в предложениях недвижимости, каждому обрабатываемому источнику присваивается рейтинг. 

Благодаря применению современных информационных технологий поиска, сбора, хранения и обработки информации на рынке недвижимости, становятся возможными аналитические исследования, ранее недоступные в этом секторе экономики. Это также достигается за счет интеграции в систему информации о градостроительном развитии территорий, ограничениях, накладываемых документами территориального планирования, информации об объектах инфраструктуры и др. Это безусловно облегчает, например, задачу оценки инвестиционной привлекательности объекта недвижимости.
Максимальный охват предложений по большому количеству источников информации повышает точность заключений и прогнозов. 
Наличие архива предложений за прошлые годы позволяет рассчитывать сроки экспозиции объектов на рынке недвижимости в разрезе всех доступных ключевых характеристик, в том числе по произвольным территориальным фрагментам. 
Кроме того, система позволяет проанализировать динамику цен, как по одному конкретному предложению, так и динамику цен выборки предложений в разрезе любых ключевых характеристик или же территориальной принадлежности. 

Исходя из вышеперечисленного, сфера применения информационной системы RWAY достаточна широка
Благодаря архиву предложений подбор объектов-аналогов для оценки объекта недвижимости сравнительным методом можно проводить не только на текущую дату.
Расчет срока рыночной экспозиции будет полезен для банковского сектора при проведении мониторинга залоговой недвижимости. 
Отслеживание уровня ликвидности поможет принять решение в управлении залоговым или инвестиционным портфелем недвижимости. 
Оперативные выборки предложений с рынка недвижимости помогут в принятии управленческих решений федеральным розничным сетям.
Экспресс-маркетинг будет полезен девелоперам в целях оценки инвестиционной привлекательности объектов недвижимости.
Объем еженедельно загружаемых в систему данных постоянно растет.
В качестве примера ниже представлена таблица с объемом предложений по Москве в разрезе сегментов рынка коммерческой недвижимости.

Средние еженедельные объемы обработанной информации

о предложениях коммерческой недвижимости в Москве. Ноябрь 2017 г.

На примере данных в таблице видно, что присутствует дублирование предложений на разных информационных ресурсах. Поэтому проводится работа по их распознаванию, чтобы это не влияло на количественные показатели при расчетах, где важен объем предложений, например, средневзвешенные цены, доли от общего объема и т.д. 
Точность геокодирования и получения координат конкретного здания достаточно высокая, что связано также и с выбранным сегментом. 
В сегменте земельных участков эти показатели пока ниже, поскольку большинство продавцов не указывают точное расположение земельного участка. 
Под обязательными характеристиками в таблице (п. 3.02) подразумеваются основные характеристики, которые необходимы для статистических и аналитических наблюдений (цена, площадь, сегмент недвижимости, вид назначения предлагаемой площади, тип операции). 
Доля предложений с заполненными обязательными характеристиками постоянно растет. Для этого дорабатываются алгоритмы заполнения ключевых параметров из текстовых описаний. 
Все предложения проверяются на вхождение в диапазон допустимых цен. Не прошедшие такую проверку предложения отправляются на ручную верификацию.
По состоянию на конец 2017 г., многие пользователи уже по достоинству оценили возможности работы системы RWAY по сбору и анализу данных на рынке коммерческой недвижимости. В системе доступно до 500 тысяч верифицированных предложений еженедельно, а также наборы статистических данных, в том числе ретроспективные. 
В перспективы развития информационной системы RWAY входит разработка общедоступной web-платформы с понятным клиент-ориентированным интерфейсом и использованием современных ГИС-технологий. 
Функции базовых аналитических расчетов, большой объем базы данных, наполненной верифицированными актуальными и ретроспективными предложениями, помогут в решении поставленных задач наших сегодняшних и будущих партнеров!..

Источник: ГК RWAY

Источник Аналитическое агентство RWAY