Список проголосовавших за комментарий "Мы работаем в условиях достаточно сильного шума, или, если угодно, в условиях высокой статистической неопределенности. Отсюда, как я полагаю, следует, что обучающая выборка должна быть очень большой, тысячи испытаний, а объем подбираемых параметров маленький. <br/> У Вас изначально небольшая выборка, что ставит результаты под сомнение.<br/> С другой стороны, для метода «ближайшего соседа», строго имхо, надо задавать не фиксированное число соседей, а долю в выборке. 10%, 5 % и так далее."