Мангер родился в 1924 году в Омахе, штат Небраска, США. Во время Второй мировой войны служил метеорологом на Аляске. В 1948 году, окончил Гарвардскую школу права и начал карьеру юриста в Лос-Анджелесе. И в первую очередь он сформировался именно как юрист. Жизнь у него кстати была не сахар. У его восьмилетнего сына диагностировали рак, а если точнее лейкемию. Чарли навещал его, держал в объятиях, а потом ходил по улицам Пасадены и громко рыдал.

В 1959 Мангер познакомился с Баффетом. Будущие партнеры нашли много общих тем для разговора, несмотря на разное образование и начали тесно общаться. Спустя три года создал собственное инвестиционное товарищество.

С 1962 по 1975 год товарищество Мангера давало 19,8 % в год, что практически в четыре раза превышало показатели по рынку.