Die verlassene Mutter zieht mit ihrem Sohn zunächst nach China, bevor sie sich 1934 in Paris nieder lässt. Yul wird Schüler des exklusiven Eliteinternats Moncelle, von dem er aber bald verwiesen wird. Daraufhin verdingt er sich als Zirkusartist und tingelt als Zigeuner-Musiker durchs Pariser Nachtleben. Schließlich entscheidet er sich für den Besuch einer Pariser Theaterschule, an welcher er ein Schauspiel- und Theaterstudium absolviert. Angeblich beliefert er in dieser Zeit den französischen Künstler Jean Cocteau mit Opium. 1940 zieht es Brynner nach Amerika, wo er zunächst als Regisseur für verschiedene Fernsehserien wie "Studio One" und "Danger" arbeitet.

Starruhm, das exotische Aussehen und die geheimnisvolle Aura des Schauspielers lockten zeitlebens die Frauen an. Am Ende seines Lebens kann Brynner auf vier Ehefrauen und fünf Kinder zurück blicken. Die erste Ehe mit Schauspielerin Virginia Gilmore hält unerreichte 16 Jahre. 1946 kommt Brynners erster Sohn zur Welt, den der Vater nicht ganz uneitel Yul Brynner II taufen lässt. In Anlehnung an Boxer Rocky Graziano erhält Yul zwei den Spitznamen Rock, was aber die gewünschte Wirkung auf den Sprössling verfehlt, denn er wird Schriftsteller und Geschichtsprofessor. 1958 wird Tochter Lark außerehelich geboren, die Ehe der Brynners dürfte aber schon vorher zerrüttet gewesen sein. Anfang der 1950er Jahre lässt sich Brynner auf eine Affäre mit Marlene Dietrich ein, in deren Fußstapfen dann die amerikanische Sängerin und Schauspielerin Judy Garland tritt. Nach der Scheidung von Virginia heiratet Brynner 1960 zum zweiten Mal. Das chilenische Model Doris Kleiner ehelicht den Star am Set des Kultwesterns "Die glorreichen Sieben". Aus der Ehe geht Töchterchen Victoria hervor, die mit Audrey Hepburn eine berühmte Filmdiva zur Patin bekommt. Im verflixten siebten Jahr folgt erneut das Ehe-Aus, doch Brynner scheint inzwischen Gefallen am Heiraten gefunden zu haben. Vier Jahre später tut er's wieder, dieses Mal die französische Verleger-Witwe Jacqueline de Croisset. Das Paar adoptiert mit Mia und Melody zwei vietnamesische Kinder, aber auch die können die Eltern nicht zusammen halten. 1983 wird Tänzerin Kathy Lee Ehefrau Nummer vier. Dem Paar bleiben aber nur zwei gemeinsame Jahre.