1886년 1월 25일 독일 베를린에서 태어난 지휘자·작곡가·피아니스트로, 20세기 전반부를 대표하는 지휘자 가운데 한 사람이다. 어린 시절부터 음악에 재능을 보여 일찍이 음악 교육을 받기 시작했다. 라인베르거에게서 작곡의 기초를 배웠고, 실링스의 제자가 된 열다섯 살부터 지휘에도 관심을 갖게 되었다.
1906년 뮌헨의 카임 관현악단을 지휘하면서 공식 지휘 무대에 데뷔했다. 1917년 훗날 그와 함께 오랜 세월 동고동락하는 오케스트라가 되는 베를린 필하모닉을 처음 객원 지휘했다. 1922년 아르투어 니키슈의 후임으로 베를린 필과 라이프치히 게반트하우스 오케스트라 상임 지휘자로 임명되었고, 1927년에는 빈 필하모닉의 수석 지휘자에 올랐다. 1934년 ‘힌데미트 사건’으로 나치 당국과 마찰을 빚고 베를린 필과 베를린 국립오페라 지휘자 직에서 사임했으나, 괴벨스와 타협한 후 독일에 남기로 결정한다. 1945년까지도 베를린 필과의 연주를 계속하다가, 같은 해에 스위스로 탈출하여 종전을 맞았으며, 1946년 비非나치화 위원회에서 ‘단순 가담’ 판정을 받았다. 그 후 지휘를 재개해 유럽의 주요 오케스트라와 함께 연주 및 녹음 활동을 활발하게 펼쳤고, 1952년에는 베를린 필의 종신 예술 감독이 되었다. 1954년 11월 30일, 68세를 일기로 세상을 떠났다. 지은 책으로 이 책 《음과 말》과 유고집 《유산Vermächtnis》이 있다.