re: Увеличение файла подкачки и настройка приоритета процессора на удалённом сервере.

Вы шутите? подкачка- это дополнительные времязатраты на обращения к диску. Насколько понимаю для роботов задержки важны. И могут стоить денег.
то есть варианта тут два- или оптимизировать потребление памяти со стороны движка (при малом объёме ОЗУ минимизируя потребление памяти объектами которые не столь нужны, а если надо хранить их локально-сохранять на кэш, прикладное ПО лучше знает что критично ему хранить и важно, а что выгрузить, ОС же это не ведомо).
К тому же свопинг, если он часто происходит ещё и доп нагрузка на диск и растет очередь обращений к дисковой системе и остальные данные с него загружаются или пишутся помедленней. И это как раз может приводить к снижению стабильности работы ПО, особенно если система высоконагруженая.  
Или прописывать в требования больше ОЗУ

Второе. Отвечу как злой админ туевой кучи серверов (весьма нагруженных)- на ПРОД серверах (где не тестируется что-то а реальное ПО работает от которого бизнес зависит) -подкачка, как правило зло. Идёте в ресурс менеджер. Или в перфмон (перформанс монитор). Ну или в диспетчер задач для начала. И смотрите на потребление памяти. Желательно метрики посмотреть на протяжении нескольких дней. Если не хватает её- докупайте.

 
Написал ответ в теме, но не смог отправить т к ответы почему то автор позволил только друзьям оставлять