Как купить оптимальную квартиру (R)

     Несмотря на то, что девиз сайта – «Мы делаем деньги на бирже», можно их делать не только на бирже, например, купить что-то подешевле или продать что-то подороже:).  Например, насущный для многих вопрос – покупка недвижимости. Часто это задача со многими неизвестными, и некоторыми ограничениями, но, даже осуществив запрос на сайтах недвижимости, по необходимым для каждого параметрам, возникает вопрос – «А какую же выбрать квартиру из этого многообразия?». Идеально, конечно, прозвонить все варианты, пройтись по этим вариантам и составить свою экспертную относительную оценку, но все это настолько трудоемко, что может быть выполнено только людьми, у которых очень много времени. К счастью, математика и информатизация всего и вся не стоит на месте и может помочь в этом, да и во многих других сферах деятельности. Так, результатом моих изысканий, стал веб-сервис анализирующий по заданным параметрам выборку из искомых квартир с небезызвестного сайта cian.ru и помечает на карте  лучшие варианты. Используемый алгоритм – случайный лес (данный алгоритм по совокупности критериев mse, mae, mape оказался лучшим среди 12 типов протестированных мной разных моделей регрессий на различных выборках) с необходимыми параметрами. Парсинг сайта через REST API замечательного сервиса import.io, геолокация от Google, а так весь код на R.

Ограничения модели:

1. Сайт — cian.ru
2. Город — Москва
3. Один тип квартир (т.е. однушки, или двушки, или трешки и т.д.)
4. В пределах одной станции метро (без выбора по улицам или выбором по карте)
5. Вторичка
6. Пока без элементов выбора параметров (запрос формируется на cian.ru)

   Кому интересно, могу написать, чем вызваны ограничения и более детально архитектуру приложения. Ну а так все просто, заходите на сайт cian.ru, выбираете интересующие Вас параметры, запрашиваете и копируете сформированную строку адреса в строку сервиса и нажимаете кнопку «Анализировать». Сначала осуществляется загрузка и парсинг всех вариантов с искомого сайта (идет прогресс-бар показывающий сколько страниц загрузилось), процесс геолокации (необходим для определения координат и последующего расстояния до метро – это идет в модель), потом происходит приведение данных в «опрятный» вид (в т.ч. устранение пропусков) и построение модели, ну а дальше выбираете закладку «Result Map». На карте и в таблице показаны лучшие варианты, отсортированные по процентной недооценке, в таблице, помимо кратких сведений, также указана сразу ссылка (*) на страницу объявления. Количество выдаваемых лучших результатов также можно выбрать на первой странице.  На остальных закладках промежуточные таблицы и диаграммы, служащие в основном для контроля моделирования.

То есть вот так это выглядит:

Исходная страница (указывается строка запроса)

Результат (лучшие варианты на карте и в таблице)

Интересующиеся и желающие попользоваться (потестировать – так как возможны какие-то нюансы на некоторых выборках), пишите в личку, сообщу ссылку.