Lee’s Vater war Lee Hoi-chuen, ein angesehener Star der kantonesischen Oper in Hongkong. Als Bruce 1940 geboren wurde, waren seine Eltern in den Vereinigten Staaten, während sein Vater mit der kantonesischen Operntruppe auf Tournee war. Aus diesem Grund wurde Lee in San Francisco geboren und erhielt von einer Krankenschwester im Krankenhaus den englischen Namen „Bruce“ (obwohl seine Eltern ihn nicht so nannten).
Lees Mutter, Grace Ho (im Bild), war Mitglied der einflussreichen Ho-tung-Bosman-Familie, die in Hongkong für ihre Geschäfte und Philanthropie bekannt war. Obwohl lange Zeit fälschlicherweise behauptet wurde, sie sei Halbdeutsche, geht aus den Einwanderungsunterlagen der Familie, die kurz nach Lees Geburt nach Hongkong zurückkehrten, hervor, dass Grace ihre Mutter als Britin identifizierte.
Bevor sie nach Hongkong zurückkehrten, arrangierten Lees Eltern etwas Prophetisches für ihren kleinen Sohn. Im Jahr 1941 gab er sein Filmdebüt in Golden Gate Girl von Regisseurin Esther Eng. (Eng war eine bahnbrechende Regisseurin und eine Freundin von Lees Eltern, als diese in San Francisco lebten). Insgesamt wirkte Lee während seiner Kindheit in mehr als einem Dutzend Filmen mit, darunter der Film The Kid von 1950, in dem er zusammen mit seinem Vater die Hauptrolle spielte.
Während seiner Kindheit war Lee auch häufig in Straßenkämpfe verwickelt. Dies veranlasste ihn, bei dem Wing Chung-Meister Ip Man Kampfsport zu studieren. Obwohl laut Bruce Thomas‘ Biografie über Lee, Bruce Lee: Fighting Spirit, einige von Ip Mans Schützlingen sich weigerten, Lee zu trainieren, als sie erfuhren, dass er mütterlicherseits europäischer Abstammung war, hielt der junge Mann durch und wurde zu einem der am meisten verehrten Kampfkünstler seiner Zeit.
Lee Hoi-chuen starb 1965 im Alter von 64 Jahren an einem Herzinfarkt, nur sechs Tage nach der Geburt von Bruce‘ Sohn mit Linda Lee Caldwell, dem Schauspieler Brandon Lee. Abgesehen von einem einmaligen Interview mit einem jungen Geraldo Rivera blieb Grace Ho für den Rest ihres Lebens aus dem Rampenlicht verschwunden. Sie starb 1996.