В 1955 году в неполные шестнадцать лет, закончив семь классов и начав восьмой, Бродский бросил школу и поступил учеником фрезеровщика на завод «Арсенал». Это решение было связано как с проблемами в школе, так и с желанием Бродского финансово поддержать семью. Фрезеровщиком он работал 9 месяцев. Безуспешно пытался поступить в школу подводников. В 16 лет загорелся идеей стать врачом, месяц работал помощником прозектора в морге при областной больнице, увлёкся анатомией и генетикой, анатомировал трупы, но в конце концов отказался от медицинской карьеры. Кроме того, в течение следующих пяти лет после ухода из школы он работал истопником в котельной, матросом на маяке.