Список проголосовавших за комментарий "averbin, градиентный спуск мало где применим. Для гладких задач используют более быстро сходящиеся методы. От Ньютона до сопряженных градиентов. Для негладких задач есть очень немного реально работающих универсальных методов и все они трудоемки. МК и перебор по сетке — первый выбор. МК можно ускорять. МК можно применить к любой целевой функции. Ну а железо для того и существует, чтобы считать. "