O pai de Lee era Lee Hoi-chuen, uma estrela muito respeitada da ópera cantonesa em Hong Kong. Na época do nascimento de Bruce, em 1940, seus pais estavam nos Estados Unidos, enquanto seu pai fazia turnê com a Companhia de Ópera Cantonesa. Por causa disso, Lee nasceu em São Francisco e recebeu o nome inglês “Bruce” de uma enfermeira do hospital (embora os pais não o chamassem assim).
A mãe de Lee, Grace Ho (foto), era membro da influente família Ho-tung Bosman, conhecida por seus negócios e filantropia em Hong Kong. Embora tenha sido erroneamente relatado há muito tempo que ela era metade alemã, documentos de imigração da viagem da família de volta a Hong Kong logo após o nascimento de Lee revelam que Grace identificou sua mãe como britânica.
Antes de retornar a Hong Kong, os pais de Lee arranjaram algo profético para seu filho menor. Em 1941, ele fez sua estreia no cinema com a diretora Esther Eng, Golden Gate Girl. (Eng foi uma diretora pioneira e amiga dos pais de Lee enquanto eles moravam em São Francisco). No total, Lee atuou em mais de uma dúzia de filmes durante sua infância, incluindo The Kid, de 1950, que ele co-estrelou com seu pai.
Durante sua infância, Lee também se viu frequentemente em brigas de rua. Isto levou-o a estudar artes marciais sob o mestre Ip Man, Wing Chung. Embora, de acordo com a biografia de Bruce Thomas de Lee, Bruce Lee: Fighting Spirit, vários dos protegidos de Ip Man recusaram-se a treinar Lee quando souberam que ele tinha ascendência europeia pelo lado da mãe, o jovem perseverou em tornar-se um dos artistas marciais mais reverenciados da sua época.
Lee Hoi-chuen morreu de ataque cardíaco em 1965, aos 64 anos, apenas seis dias após o nascimento do filho de Bruce com Linda Lee Caldwell, o actor Brandon Lee. Além de uma entrevista única com um jovem Geraldo Rivera, Grace Ho permaneceu fora dos holofotes durante o resto de sua vida. Ela morreu em 1996.