Jim McCaffrey III főiskolásként kezdett élelmiszerboltokban dolgozni. 1980-ban McCaffrey megnyitotta első üzletét, egy csemegeboltot Philadelphia északkeleti részén. Fiával, Jim McCaffrey IV-vel együtt McCaffrey III 1986-ban megnyitotta a McCaffrey’s Food Marketet a pennsylvaniai Yardley-ben. A kibővített élelmiszerboltban a kiskereskedelmi élelmiszerek széles választéka mellett termék-, tejtermék- és csemegeszakaszok is helyet kaptak.
1992-ben a McCaffrey’s egy új telephellyel bővült a Princetonban, NJ-ben.
1996-ban a McCaffrey’s egy új telephellyel bővült a New Jersey állambeli West Windsorban.
2004. február 29-én a pennsylvaniai Yardley-ben található McCaffrey’s szupermarket vásárlói lángokat észleltek az épület déli fala melletti bokrokból és levelekből. A pennsylvaniai Lower Makefield Township, Bucks megye, Pennsylvania rendőrkapitányságának két szolgálatban lévő rendőrségi ajánlata körülbelül 16:12-kor füstöt észlelt, és kapcsolatba lépett a helyi tűzoltóság diszpécserével. Glen Hamilton és Jason Braim rendőrök bementek az üzletbe, és segítettek evakuálni a bent lévő közel 200 vásárlót és alkalmazottat. A jelentések szerint közel 35 percbe telt, mire a Yardley-Makefield Tűzoltó Társaság, amely közvetlenül az Edgewood Village bevásárlóközponttal szemben található, a helyszínre érkezett, és további 17 percbe, mire megkezdték a víz szivattyúzását. A tüzet 17 óra körül sikerült megfékezni, de az épület és a tető súlyosan megrongálódott.
Nem sokkal a tűz után a McCaffrey’s egy 10 000 négyzetméteres sátrat állított fel az Edgewood Village bevásárlóközpont parkolójában. A villannyal, hűtőberendezéssel és vízvezetékkel felszerelt rögtönzött üzletben teljes kiszolgálású csemegebolt, készételek, bolti pékség és húsosztály, valamint korlátozott választékú élelmiszeráru volt.
2012. július 15-én a McCaffrey’s megnyitotta Newtown, Pennsylvania állambeli üzletét a Genuardi’s szupermarket egykori helyén.
2016. április 21-én a McCaffrey’s megnyitott egy új, kisebb, 13 000 négyzetméteres, Simply Fresh nevű ínyenc piaci koncepciót a pennsylvaniai Doylestownban, egy korábbi Ford Motor Company autókereskedés helyén.
2016. július 22-én a McCaffrey’s egy 50 000 négyzetméteres szupermarketet nyitott a pennsylvaniai Blue Bellben, a korábbi Super Fresh helyén, sörkertet és ínyenc készétel-állomásokat kínálva.
2020. január 9-én a McCaffrey’s egy új helyszínnel bővült a pennsylvaniai New Hope-ban. Szintén 2020 szeptemberében a helyi média beszámolt arról, hogy Murray Davidson régóta dolgozó munkatárs 22 év után nyugdíjba vonult a McCaffrey’s eredeti helyén, Yardley-ban, Pennsylvania államban.