Tatăl lui Lee a fost Lee Hoi-chuen, o vedetă respectată a operei cantoneze din Hong Kong. La momentul nașterii lui Bruce, în 1940, părinții săi se aflau în Statele Unite, în timp ce tatăl său făcea un turneu cu Compania de Operă Cantonese. Din această cauză, Lee s-a născut în San Francisco și a primit numele englezesc „Bruce” de la o asistentă de la spital (deși părinții săi nu l-au numit astfel).
Mama lui Lee, Grace Ho (foto), a fost membră a influentei familii Ho-tung Bosman, cunoscută pentru afacerile și filantropia lor în Hong Kong. Deși multă vreme s-a relatat în mod eronat că era pe jumătate germană, documentele de imigrare din călătoria familiei înapoi în Hong Kong la scurt timp după nașterea lui Lee arată că Grace și-a identificat mama ca fiind britanică.
Înainte de a se întoarce în Hong Kong, părinții lui Lee au aranjat ceva profetic pentru fiul lor cel mic. În 1941, acesta și-a făcut debutul cinematografic în filmul Golden Gate Girl al regizoarei Esther Eng. (Eng a fost o femeie regizor de pionierat și o prietenă a părinților lui Lee pe când aceștia locuiau în San Francisco). În total, Lee a jucat în peste o duzină de filme în timpul copilăriei sale, inclusiv în filmul The Kid din 1950, în care a jucat împreună cu tatăl său.
În timpul copilăriei sale, Lee s-a aflat, de asemenea, în mod frecvent în lupte de stradă. Acest lucru l-a determinat să studieze artele marțiale sub îndrumarea maestrului Wing Chung Ip Man. Deși, potrivit biografiei lui Lee realizată de Bruce Thomas, Bruce Lee: Fighting Spirit, mai mulți dintre protejații lui Ip Man au refuzat să îl antreneze pe Lee când au aflat că acesta avea strămoși europeni din partea mamei sale, tânărul a perseverat și a devenit unul dintre cei mai respectați artiști marțiali ai epocii sale.
Lee Hoi-chuen a murit de un atac de cord în 1965, la vârsta de 64 de ani, la doar șase zile după nașterea fiului lui Bruce cu Linda Lee Caldwell, actorul Brandon Lee. În afară de un interviu acordat o singură dată unui tânăr Geraldo Rivera, Grace Ho a rămas departe de lumina reflectoarelor pentru tot restul vieții sale. A murit în 1996.