Le père de Lee était Lee Hoi-chuen, une vedette très respectée de l’opéra cantonais de Hong Kong. Au moment de la naissance de Bruce en 1940, ses parents étaient aux États-Unis alors que son père était en tournée avec la compagnie de l’opéra cantonais. Pour cette raison, Lee est né à San Francisco et a reçu le nom anglais « Bruce » d’une infirmière de l’hôpital (bien que ses parents ne l’aient pas appelé ainsi).
La mère de Lee, Grace Ho (photo), était membre de l’influente famille Ho-tung Bosman, connue pour ses affaires et sa philanthropie à Hong Kong. Bien qu’il ait longtemps été rapporté à tort qu’elle était à moitié allemande, les documents d’immigration du voyage de retour de la famille à Hong Kong peu après la naissance de Lee révèlent que Grace a identifié sa mère comme étant britannique.
Avant de retourner à Hong Kong, les parents de Lee ont organisé quelque chose de prophétique pour leur fils en bas âge. En 1941, il fait ses débuts au cinéma dans le film Golden Gate Girl de la réalisatrice Esther Eng. (Eng était une réalisatrice pionnière et une amie des parents de Lee lorsqu’ils vivaient à San Francisco). Au total, Lee a joué dans plus d’une douzaine de films durant son enfance, dont The Kid de 1950 dans lequel il partageait la vedette avec son père.
Durant son enfance, Lee s’est aussi fréquemment retrouvé dans des combats de rue. Cela l’a conduit à étudier les arts martiaux sous la direction du maître Wing Chung Ip Man. Bien que selon la biographie de Bruce Thomas sur Lee, Bruce Lee : Fighting Spirit, plusieurs des protégés d’Ip Man ont refusé d’entraîner Lee lorsqu’ils ont appris qu’il avait des ancêtres européens du côté de sa mère, le jeune homme a persévéré pour devenir l’un des artistes martiaux les plus vénérés de son époque.
Lee Hoi-chuen est mort d’une crise cardiaque en 1965 à l’âge de 64 ans, six jours seulement après la naissance du fils de Bruce avec Linda Lee Caldwell, l’acteur Brandon Lee. Hormis une interview unique avec un jeune Geraldo Rivera, Grace Ho est restée à l’écart des projecteurs le reste de sa vie. Elle est décédée en 1996.