Der Sohn des Komponisten Karl Böhm und der Sopranistin Thea Linhard soll ebenfalls eine Musikerkarriere starten. Seine Leistungen am Klavier reichen dafür jedoch nicht aus. Auf Drängen seines Vaters studiert Karlheinz Böhm schließlich Anglistik und Germanistik, ist damit aber unzufrieden und bricht ab. Danach geht er an eine Schauspielschule.
Ab 1955 spielt er Kaiser Franz Joseph in der "
Sissi"-Trilogie. In den folgenden Jahren wird er diesen Rollentypus festgelegt. Mit seiner Darstellung eines Serienmörders in "
Augen der Angst" verschreckt er das Publikum, begeistert aber die Kritiker. Danach spielt er in den USA und Frankreich, wo er weiter, wenn auch weniger erfolgreich anspruchsvolle Filme dreht. In den 1970er Jahren wird er von
Rainer Werner Fassbinder entdeckt, der mit ihm unter anderem das Melodram "
Martha" und die Literatur-Verfilmung "
Fontane Effi Briest" dreht.
Seit 1976 setzt sich Böhm für notleidende Menschen in Afrika ein. Bei einer "
Wetten, dass..?"-Sendung wettet er, dass die Zuschauer nicht eine Mark, einen Franken oder sieben Schilling für die notleidenden Menschen spenden würden. Es kommt ein Millionenbetrag zusammen. 1981 gründet er die Hilfsorganisation
Menschen für Menschen und verabschiedet sich von der Schauspielerei.
Karlheinz Böhm ist Vater von sieben Kindern. Er ist mit der Äthiopierin Almaz Böhm verheiratet, mit der er zwei Kinder gezeugt hat. Am 29. 5. 2014 stirbt er in Grödig bei Salzburg nach langer Krankheit.