Lee’s far var Lee Hoi-chuen, en respekteret stjerne i den kantonesiske opera i Hong Kong. På tidspunktet for Bruces fødsel i 1940 var hans forældre i USA, mens hans far turnerede med det kantonesiske operakompagni. Derfor blev Lee født i San Francisco og fik det engelske navn “Bruce” af en sygeplejerske på hospitalet (selv om hans forældre ikke kaldte ham sådan).
Lees mor, Grace Ho (billedet), var medlem af den indflydelsesrige Ho-tung Bosman-familie, som var kendt for deres forretningstransaktioner og filantropi i Hong Kong. Selv om det længe fejlagtigt blev rapporteret, at hun var halvt tysk, afslører immigrationsdokumenter fra familiens rejse tilbage til Hong Kong kort efter Lees fødsel, at Grace identificerede sin mor som britisk.
Hvor de vendte tilbage til Hong Kong, arrangerede Lees forældre noget profetisk for deres spædbarnssøn. I 1941 fik han sin filmdebut i instruktør Esther Eng’s Golden Gate Girl. (Eng var en banebrydende kvindelig instruktør og en ven af Lees forældre, mens de boede i San Francisco). I alt medvirkede Lee i over et dusin film i løbet af sin barndom, herunder The Kid fra 1950, som han spillede med i sammen med sin far.
I løbet af sin barndom befandt Lee sig også ofte i gadekampe. Dette fik ham til at studere kampsport under Wing Chung-mesteren Ip Man. Selv om der ifølge Bruce Thomas’ biografi om Lee, Bruce Lee: Fighting Spirit, nægtede flere af Ip Mans protegéer at træne Lee, da de erfarede, at han havde europæiske aner fra moderens side, holdt den unge mand ud og blev en af de mest ærværdige kampkunstnere i sin tid.
Lee Hoi-chuen døde af et hjerteanfald i 1965 i en alder af 64 år, kun seks dage efter fødslen af Bruce’s søn med Linda Lee Caldwell, skuespilleren Brandon Lee. Bortset fra et engangsinterview med en ung Geraldo Rivera holdt Grace Ho sig ude af rampelyset resten af sit liv. Hun døde i 1996.