Lee’s vader was Lee Hoi-chuen, een gerespecteerde ster van de Cantonese opera in Hong Kong. Ten tijde van Bruce’s geboorte in 1940 waren zijn ouders in de Verenigde Staten terwijl zijn vader op tournee was met de Cantonese Opera Company. Daarom werd Lee in San Francisco geboren en kreeg hij van een verpleegster in het ziekenhuis de Engelse naam “Bruce” (hoewel zijn ouders hem zo niet noemden).
Lee’s moeder, Grace Ho (foto), was een lid van de invloedrijke Ho-tung Bosman familie die bekend stond om hun zakelijke transacties en filantropie in Hong Kong. Hoewel lange tijd foutief werd gemeld dat ze half Duits was, blijkt uit immigratiedocumenten van de reis van de familie naar Hong Kong kort na Lee’s geboorte dat Grace haar moeder als Brits identificeerde.
Voordat ze naar Hong Kong terugkeerden, regelden Lee’s ouders iets profetisch voor hun jongste zoon. In 1941 maakte hij zijn filmdebuut in Golden Gate Girl van regisseur Esther Eng. (Eng was een baanbrekende vrouwelijke regisseur en een vriendin van Lee’s ouders toen zij in San Francisco woonden). In totaal acteerde Lee in meer dan een dozijn films tijdens zijn jeugd, waaronder The Kid uit 1950 waarin hij samen met zijn vader een hoofdrol speelde.
Tijdens zijn jeugd kwam Lee ook vaak in straatgevechten terecht. Dit bracht hem ertoe vechtsporten te gaan studeren bij de Wing Chung meester Ip Man. Hoewel volgens Bruce Thomas’ biografie van Lee, Bruce Lee: Fighting Spirit, weigerden verschillende van Ip Man’s beschermelingen Lee te trainen toen ze vernamen dat hij van moeders kant Europese voorouders had, zette de jongeman door om een van de meest vereerde vechtkunstenaars van zijn tijd te worden.
Lee Hoi-chuen stierf aan een hartaanval in 1965 op 64-jarige leeftijd, slechts zes dagen na de geboorte van Bruce’s zoon met Linda Lee Caldwell, de acteur Brandon Lee. Afgezien van een eenmalig interview met een jonge Geraldo Rivera, bleef Grace Ho de rest van haar leven uit de schijnwerpers. Ze overleed in 1996.