Lees far var Lee Hoi-chuen, en respekterad stjärna i den kantonesiska operan i Hongkong. När Bruce föddes 1940 befann sig hans föräldrar i USA medan hans far turnerade med det kantonesiska operakompaniet. På grund av detta föddes Lee i San Francisco och fick det engelska namnet ”Bruce” av en sjuksköterska på sjukhuset (även om hans föräldrar inte kallade honom så).
Lees mamma, Grace Ho (bilden), tillhörde den inflytelserika Ho-tung Bosman-familjen som var känd för sina affärer och sin filantropi i Hongkong. Även om det länge felaktigt rapporterades att hon var halvt tysk, avslöjar immigrationsdokument från familjens resa tillbaka till Hongkong strax efter Lees födelse att Grace identifierade sin mor som brittisk.
För att återvända till Hongkong arrangerade Lees föräldrar något profetiskt för sin lille son. År 1941 gjorde han sin filmdebut i regissören Esther Engs Golden Gate Girl. (Eng var en banbrytande kvinnlig regissör och en vän till Lees föräldrar när de bodde i San Francisco). Totalt medverkade Lee i över ett dussin filmer under sin barndom, däribland 1950 års The Kid som han spelade med i tillsammans med sin far.
Under sin barndom befann sig Lee också ofta i gatustrider. Detta ledde till att han började studera kampsport under Wing Chung-mästaren Ip Man. Även om det enligt Bruce Thomas biografi om Lee, Bruce Lee: Fighting Spirit, vägrade flera av Ip Mans protegéer att träna Lee när de fick veta att han hade europeisk härstamning på moderns sida, framhärdade den unge mannen och blev en av sin tids mest vördade kampsportare.
Lee Hoi-chuen dog av en hjärtattack 1965 vid 64 års ålder, bara sex dagar efter det att Bruce hade fött sin son med Linda Lee Caldwell, skådespelaren Brandon Lee. Förutom en engångsintervju med en ung Geraldo Rivera höll sig Grace Ho borta från rampljuset under resten av sitt liv. Hon dog 1996.