Lee apja Lee Hoi-chuen volt, a hongkongi kantoni opera elismert sztárja. Bruce születésekor, 1940-ben a szülei az Egyesült Államokban voltak, míg apja a kantoni operatársulattal turnézott. Emiatt Lee San Franciscóban született, és a kórházban egy nővér a “Bruce” angol nevet adta neki (bár a szülei nem így hívták).
Lee édesanyja, Grace Ho (a képen) a befolyásos Ho-tung Bosman család tagja volt, akik üzleti ügyleteikről és emberbaráti tevékenységükről voltak híresek Hongkongban. Bár sokáig tévesen azt állították, hogy félig német volt, a család röviddel Lee születése után Hongkongba tett hazautazásáról szóló bevándorlási dokumentumokból kiderül, hogy Grace britként azonosította anyját.
Mielőtt visszatértek volna Hongkongba, Lee szülei valami prófétai dolgot intéztek kisfiuk számára. 1941-ben debütált a filmvásznon Esther Eng rendező Golden Gate Girl című filmjében. (Eng úttörő női rendező volt, és Lee szüleinek barátja, amíg San Franciscóban éltek). Összesen több mint egy tucat filmben játszott Lee gyermekkorában, köztük az 1950-es The Kid című filmben, amelyben apjával együtt játszott.
A gyermekkorában Lee gyakran került utcai verekedésekbe is. Ez vezetett oda, hogy a Wing Chung mester, Ip Man mellett tanulta a harcművészeteket. Bár Bruce Thomas Lee-életrajza, a Bruce Lee: Fighting Spirit, Ip Man több pártfogoltja megtagadta Lee edzését, amikor megtudták, hogy anyai ágon európai felmenőkkel rendelkezik, a fiatalember kitartott, és korának egyik legtiszteltebb harcművészévé vált.
Lee Hoi-chuen 1965-ben, 64 éves korában szívrohamban halt meg, mindössze hat nappal azután, hogy megszületett Bruce és Linda Lee Caldwell fia, a színész Brandon Lee. A fiatal Geraldo Riverának adott egyszeri interjún kívül Grace Ho élete hátralévő részében nem került reflektorfénybe. 1996-ban halt meg.