Итак, в ходе моего эксперемента, как это часто бывает, я отошел немного в сторону и погрузился в рассмотрение работы TFX pipeline. Что на самом деле довольно не плохо, так как теперь понимаю как он работает.
Однако TFX, как и большинство опен сорс софта, имеет свои проблемы:

• Как я писал в предыдущем посте, компоненты работают в основном только с тренировочным и оценочным (train, eval) наборами данных
• Версия TFX 0.15 работает только с estimator API — однако говорят что в версии 0.21 ввели поддержку keras моделей без конвертирования ее в estimator, к сожалению не удалось это опробовать, так как в этой версии они сломали interactive context. Конечно, можно было бы и без него, просто все компоненты загнать в пайплайн, но хотелось, что бы и в ноутбуке все работало. 
• При использовании keras моделей, так и не разобрался как заставить работать TFMA в полную силу, а штука выглядит забавной. Если кто то в курсе, буду рад совету %).

В общем и целом можно смело использовать все эти технологии, но лучше без интерактивных компонентов. Загоняем все в apache beam и строим модельки, проверяем, лучшие используем :). Думаю простейший метод это простой конвейер с функцией трансформации данных и самой моделью. Остальное можно и проигнорировать для домашнего пользования. 

( Читать дальше )

Всем день добрый,

Уж прошло немало времени и вот продолжение моего эксперемента.



( Читать дальше )

Приветствую комерады! :) 

Продолжая тему околорыночничества, выпустил я новый ролик. В котором рассмотрел как размечать данные для моделей машинного обучения и как это поможет увечиться количество профитных сделок. 
Тема интересна тем, что разметка данных может является частью автоматического пайплайна, для нахождения и тестировния стратегий. 



( Читать дальше )

Всем привет. В прошлый раз, помидоры в меня не полетели, и поэтому я записал еще одну видюху в которой пробую рассказать о такой системе как Tensorflow serving. Система предназначена для выкатывания моделей машинного обучения в продакшен. Так же ребята из гугла сделали очень простой интерфейс работы с моделями, что открываем нам довольно большие возможности в организации наших торговых систем.

В прошлый раз, некоторые участники smart-lab'а скептически отнеслись к докеру, в этом случае он нам тоже очень пригодиться, что бы легко и быстро запустить сам Tensorflow serving.

В общем смотрим :) комментируем.



( Читать дальше )