El padre de Lee era Lee Hoi-chuen, una respetada estrella de la ópera cantonesa en Hong Kong. En el momento del nacimiento de Bruce, en 1940, sus padres estaban en Estados Unidos mientras su padre estaba de gira con la Compañía de Ópera Cantonesa. Por ello, Lee nació en San Francisco y una enfermera del hospital le puso el nombre inglés de «Bruce» (aunque sus padres no le llamaron así).
La madre de Lee, Grace Ho (en la foto), era miembro de la influyente familia Ho-tung Bosman, conocida por sus negocios y su filantropía en Hong Kong. Aunque durante mucho tiempo se dijo erróneamente que era medio alemana, los documentos de inmigración del viaje de la familia a Hong Kong poco después del nacimiento de Lee revelan que Grace identificó a su madre como británica.
Antes de regresar a Hong Kong, los padres de Lee organizaron algo profético para su hijo pequeño. En 1941, hizo su debut cinematográfico en Golden Gate Girl, de la directora Esther Eng. (Eng fue una directora pionera y amiga de los padres de Lee mientras vivían en San Francisco). En total, Lee actuó en más de una docena de películas durante su infancia, incluyendo The Kid, de 1950, que coprotagonizó con su padre.
Durante su infancia, Lee también se vio con frecuencia en peleas callejeras. Esto le llevó a estudiar artes marciales con el maestro de Wing Chung, Ip Man. Aunque según la biografía de Bruce Thomas sobre Lee, Bruce Lee: Fighting Spirit, varios de los protegidos de Ip Man se negaron a entrenar a Lee cuando se enteraron de que tenía ascendencia europea por parte de su madre, el joven perseveró hasta convertirse en uno de los artistas marciales más venerados de su época.
Lee Hoi-chuen murió de un ataque al corazón en 1965 a la edad de 64 años, sólo seis días después del nacimiento del hijo de Bruce con Linda Lee Caldwell, el actor Brandon Lee. Aparte de una única entrevista con un joven Geraldo Rivera, Grace Ho permaneció alejada de los focos durante el resto de su vida. Murió en 1996.