Если интересуют алгоритмы компьютерной графики — рекомендую всю серию Graphics Gems, а также Роджерс Д. "Алгоритмические основы машинной графики". Если хочется заниматься именно разработкой игр — то и network programming следует начинать осваивать, multiplayer режимы гораздо интереснее))
Выше посоветовали трехтомник Кнута — тяжело читается. По алгоритмам/структурам данных лучше начинать с этих:
1. Кормен, Т., Лейзерсон, Ч., Ривест Р., Штайн К. «Алгоритмы: построение и анализ».
2. Седжвик Р «Фундаментальные алгоритмы на C++» (язык не так принципиален).
Для прогресса в целом как разработчика — Макконнелл С. «Совершенный код» и https://ru.wikipedia.org/wiki/Design_Patterns