Viele Jahre fühlt sich Markovics der Theaterbühne verpflichtet. Seit Beginn der 1990er Jahre spielt er auch in zahlreichen Film- und Fernsehproduktionen mit. Seine erste Spielfilmrolle übernimmt er in Paul Harathers Komödie "Indien" (1994). An der Seite von Tobias Moretti schafft er sich als grantiger Ermittler Stockinger in der Krimiserie "Kommissar Rex" weitere Fans. Von 2004 bis 2006 ist er als titelgebender Held der wenig erfolgreichen Spin-Off Serie "Stockinger" zu sehen, vielleicht hatte er genug vom diebischen Schäferhund Rex, der sich stets an seinen Wurstsemmeln vergriff.

Seine Serienkarriere unterbricht er danach erst einmal, sein Leben soll nicht von Routinen bestimmt werden. 1999 beginnt mit "Geboren in Absurdistan" Markovics' Eroberungsfeldzug auf die Kinoleinwand. Ein Jahr später folgt die bitterschwarze Komödie "Komm, süßer Tod", in der Markovics einen an den Rollstuhl gefesselten Ex-Rettungsfahrer spielt. Welche Rolle er auch übernimmt, Karl hinterlässt einen bleibenden Eindruck und überrascht mit seinem breiten Repertoire schauspielerischer Fähigkeiten.

Mit der Rolle des Solomon Sorowitsch gelingt dem Österreicher der internationale Durchbruch als Charakterdarsteller. Die Darstellung des erfolgreichen Geldfälschers im KZ Sachsenhausen geht den Zuschauern unter die Haut. Er kann die Torturen fast körperlich nachvollziehen, so eindringlich mimt Markovics seine Rolle. "Die Fälscher" wird 2007 mit einem Oscar für den besten ausländischen Film ausgezeichnet. Die Statue aus Hollywood scheint ihn aber nicht sonderlich zu interessieren.

Im Interview mit der Illustrierten Stern meint er, der Oscar sei doch nur ein Ding. Ausschlaggebender sei sein eigenes Interesse an einer Rolle. Im Interview mit Filmreporter.de meinst er hierzu: "Da geht es nicht um Filmpreise oder gute Kritiken, sondern darum, was wir vielleicht gar nicht mehr mitbekommen." Auf Tabubrüche nimmt er da keine Rücksicht. So spielt er 2007 den Titelcharakter in Elisabeth Scharangs Doku-Drama "Franz Fuchs - Ein Patriot". Markovics ist ein reflektierter Schauspieler, der einen hohen Anspruch an sich selbst setzt. Ob auf der Bühne oder vor der Kamera, er verausgabt sich in seinem Spiel. Immer wieder lässt er sich auf den thematischen Neuanfang ein, um alles zu geben. Das kostet Kraft.