Leen isä oli Lee Hoi-chuen, Hongkongin kantonilaisen oopperan arvostettu tähti. Brucen syntymän aikaan vuonna 1940 hänen vanhempansa olivat Yhdysvalloissa, kun hänen isänsä kiersi kantonilaisen oopperayhtyeen kanssa. Tämän vuoksi Lee syntyi San Franciscossa ja sai sairaalassa sairaanhoitajalta englanninkielisen nimen ”Bruce” (vaikka hänen vanhempansa eivät kutsuneet häntä näin).
Leen äiti Grace Ho (kuvassa) kuului vaikutusvaltaiseen Ho-tung Bosman -perheeseen, joka tunnettiin liiketoimistaan ja hyväntekeväisyydestään Hongkongissa. Vaikka pitkään kerrottiin virheellisesti, että hän oli puoliksi saksalainen, maahanmuuttodokumentit perheen paluumatkalta Hongkongiin pian Leen syntymän jälkeen paljastavat, että Grace tunnisti äitinsä brittiläiseksi.
Ennen Hongkongiin paluuta Leen vanhemmat järjestivät jotain profeetallista heidän pikkupojalleen. Vuonna 1941 hän teki elokuvadebyyttinsä ohjaaja Esther Engin Golden Gate Girl -elokuvassa. (Eng oli uraauurtava naisohjaaja ja Leen vanhempien ystävä heidän asuessaan San Franciscossa). Kaikkiaan Lee näytteli lapsuudessaan yli kymmenessä elokuvassa, muun muassa vuoden 1950 elokuvassa The Kid, jossa hän näytteli yhdessä isänsä kanssa.
Lapsuudessaan Lee joutui myös usein katutappeluihin. Tämä johti hänet opiskelemaan kamppailulajeja Wing Chung -mestari Ip Manin johdolla. Tosin Bruce Thomasin Lee-elämäkerran Bruce Lee mukaan: Fighting Spirit, useat Ip Manin suojatit kieltäytyivät kouluttamasta Leetä, kun he saivat tietää, että hänellä oli äidin puolelta eurooppalaista syntyperää, nuorukainen pysyi sinnikkäästi mukana ja nousi yhdeksi aikakautensa arvostetuimmista kamppailulajitaiteilijoista.
Lee Hoi-chuen kuoli sydänkohtaukseen vuonna 1965 64-vuotiaana, vain kuusi päivää sen jälkeen, kun Brucen ja Linda Lee Caldwellin kanssa tekemä poika, näyttelijä Brandon Lee, oli syntynyt. Nuoren Geraldo Riveran kertahaastattelua lukuun ottamatta Grace Ho pysyi poissa parrasvaloista loppuelämänsä ajan. Hän kuoli vuonna 1996.