Der Höhepunkt seiner Filmkarriere erreicht Fischer in den 1950er Jahren. Das Jahrzehnt des Wirtschaftswunders ist sein Jahrzehnt. Er entwickelt sich zu einem der beliebtesten und bestbezahlten Schauspieler im deutschen Sprachraum und spielt mit Maria Schell ("Bis wir uns wiedersehn", 1952; "Solange du da bist", 1953) und Ruth Leuwerik ("Ein Herz spielt falsch", 1953; "Bildnis einer Unbekannten", 1954) vom Publikum verehrte Liebespaare. Fischer ist in den meist leichten Unterhaltungsfilmen der charmante Herzensbrecher und ungebundene Lebenskünstler - ein Rollenbild, nach dem sich die Menschen in der durch Pragmatismus und Tatendrang geprägten Aufbruchszeit offenbar sehnen.

Der Erfolg bringt Fischer neben Auszeichnungen auch Einfluss ein. Er sichert sich vertraglich Mitspracherecht an den Filmprojekten und nimmt Einfluss auf die Konzeption seiner Rollen. Zu seinen Paraderollen in diesen Jahren gehört unter anderem die Titelrolle in Helmut Käutners stark romantisiertem Historienfilm "Ludwig II. - Glanz und Elend eines Königs" (1955) sowie die George Bernard Shaw-Verfilmung "Helden" von Franz Peter Wirth, die 1958 mit einer Oscar-Nominierung für den besten ausländischen Film bedacht wird.

In den sechziger Jahren zieht sich Fischer allmählich aus dem Filmgeschäft zurück, bis er Ende der 1960er Jahren gar keine Kinofilme mehr macht. Lediglich im Fernsehen und auf der Bühne ist er bis Mitte der 1970er hin und wieder zu sehen. Im Alter zieht sich Fischer immer mehr vom öffentlichen Leben zurück. Im Tessiner Vernate lebt er bis zu seinem Tod das einsame Leben eines zurückgezogenen Eigenbrötlers. Das Anwesen, in dem er bis zu seinem Tod im Jahr 2004 lebt, wird von den Leuten als 'Fischerburg' bezeichnet, nicht nur der Größe wegen, sondern auch weil sich der ehemalige Schauspieler rigoros von der Welt abriegelt. "Ich konnte seine Entfremdung von unserem Beruf, von seinen Freunden, von der Welt nie verstehen", sagt Schauspielkollege und Freund Maximilian Schell nach Fischers Tod.

Die einzigen Gefährten Fischers bleiben bis zuletzt seine geliebten Katzen. Zu den Tieren scheint der Schauspieler zeitlebens einen besseren Draht gehabt zu haben als zu den Menschen, wie die Film Zeitschrift Film Revue 1959 in einem frühen Blick auf das Leben des Schauspielers berichten. Fischer hinterlässt sein gesamtes Vermögen dem Hundeheim in Lugano sowie der Theologischen Fakultät der Stadt. Seine einstige Geliebte Dagmar F. geht dagegen leer aus. Warum der Fakultät? Weil nur "Organisationen mit absolut seriösen Strukturen sein Vermögen erben" sollen, so Fischers Anwalt. Zudem widmet sich der Schauspieler nach seiner Filmlaufbahn immer mehr der Philosophie und der Theologie und hält an mehreren Universitäten Vorlesungen. 1970 wird ihm vom österreichischen Bundespräsidenten der Professorentitel verliehen. Es ist ein Rückzug in die Geistigkeit. Damit ist die Frage von Schells Unverständnis wohl auch beantwortet.