Leeho otec byl Lee Hoi-chuen, uznávaná hvězda kantonské opery v Hongkongu. V době Bruceova narození v roce 1940 byli jeho rodiče ve Spojených státech, zatímco jeho otec cestoval s kantonskou operní společností. Z tohoto důvodu se Lee narodil v San Francisku a od zdravotní sestry v nemocnici dostal anglické jméno „Bruce“ (ačkoli jeho rodiče mu tak neříkali).
Leeho matka Grace Ho (na snímku) byla členkou vlivné rodiny Ho-tung Bosman, která byla v Hongkongu známá svými obchodními aktivitami a filantropií. Ačkoli se dlouho mylně uvádělo, že byla napůl Němka, imigrační dokumenty z cesty rodiny zpět do Hongkongu krátce po Leeově narození prozrazují, že Grace svou matku označila za Britku.
Před návratem do Hongkongu zařídili Leeovi rodiče pro svého malého syna něco věšteckého. V roce 1941 debutoval ve filmu režisérky Esther Engové Golden Gate Girl. (Engová byla průkopnicí ženské režie a přítelkyní Leeových rodičů v době, kdy žili v San Francisku). Celkem si Lee v dětství zahrál ve více než tuctu filmů, včetně snímku The Kid z roku 1950, v němž hrál společně se svým otcem.
V dětství se Lee také často účastnil pouličních rvaček. To ho přivedlo ke studiu bojových umění u mistra Wing Chung Ip Mana. Ačkoli podle Leeho životopisu Bruce Thomase, Bruce Lee: Ip Manův chráněnec odmítl Leeho trénovat, když se dozvěděl, že má z matčiny strany evropské předky, mladík vytrval a stal se jedním z nejuznávanějších bojových umělců své doby.
Lee Hoi-chuen zemřel na infarkt v roce 1965 ve věku 64 let, pouhých šest dní po narození Bruceova syna s Lindou Lee Caldwellovou, herce Brandona Lee. Kromě jednorázového rozhovoru s mladým Geraldem Riverou zůstala Grace Ho po zbytek života mimo pozornost. Zemřela v roce 1996.