Jim McCaffrey III aloitti työskentelyn ruokakaupoissa yliopisto-opiskelijana. Vuonna 1980 McCaffrey avasi ensimmäisen yrityksensä, deliaattorin, joka sijaitsi Philadelphian koillisosassa. Yhdessä poikansa Jim McCaffrey IV:n kanssa McCaffrey III avasi McCaffrey’s Food Marketin Pennsylvanian Yardleyssä vuonna 1986. Laajennetussa päivittäistavarakaupassa oli tuotteiden, maitotuotteiden ja herkkujen osastoja sekä laaja valikoima vähittäiskaupan elintarvikkeita.
Vuonna 1992 McCaffrey’s laajensi toimintaansa uudella toimipisteellä Princetonissa, NJ:ssä.
Vuonna 1996 McCaffrey’s laajeni uudella toimipisteellä West Windsorissa, New Jerseyssä.
Pennsylvanian Yardleyssä sijaitsevan McCaffrey’s-supermarketin asiakkaat huomasivat 29. helmikuuta 2004 liekkejä, jotka tulivat rakennuksen eteläseinän viereisistä pensaista ja lehdistä. Kaksi virantoimituksessa olevaa poliisitarjoilijaa Lower Makefield Townshipin, Bucksin piirikunnan, Pennsylvanian poliisilaitokselta havaitsi savua noin klo 16.12 ja otti yhteyttä paikalliseen palokeskukseen. Konstaapelit Glen Hamilton ja Jason Braim menivät kauppaan ja auttoivat evakuoimaan sisällä olleet lähes 200 asiakasta ja työntekijää. Raporttien mukaan kesti lähes 35 minuuttia, ennen kuin Yardley-Makefieldin palokunta, joka sijaitsee suoraan Edgewood Village -ostoskeskusta vastapäätä, saapui paikalle, ja toiset 17 minuuttia ennen kuin he alkoivat pumpata vettä. Palo saatiin rajattua noin kello 17.00, mutta se jätti rakennuksen ja katon pahoin vaurioituneiksi.
Pian palon jälkeen McCaffrey’s pystytti 10 000 neliömetrin teltan Edgewood Village Shopping Centerin parkkipaikalle. Väliaikaisessa myymälässä, jossa oli sähköt, jäähdytyslaitteet ja vesijohdot, oli täyden palvelun deli, valmisruokia, myymälän leipomo ja lihaosasto sekä rajoitettu valikoima päivittäistavaroita.
15. heinäkuuta 2012 McCaffrey’s avasi Newtownissa, Pennsylvaniassa sijainneen toimipisteen entisen Genuardi’s-supermarketin paikalle.
21. huhtikuuta 2016 McCaffrey’s avasi uuden, pienemmän 13 000 neliömetrin gourmet-markettikonseptin nimeltä Simply Fresh Doylestownissa, Pennsylvaniassa entisen Ford Motor Companyn autoliikkeen paikalla.
22. heinäkuuta 2016 McCaffrey’s avasi Blue Bellissä, Pennsylvaniassa entisen Super Freshin tiloihin 50 000 neliömetrin supermarketin, jossa on olutpuutarha ja gourmet-valmisteisia ruoka-asemia.
Tammikuun 9. päivänä 2020 McCaffrey’s laajeni uudella toimipisteellä New Hopessa, Pennsylvaniassa. Syyskuussa 2020 paikalliset tiedotusvälineet uutisoivat myös pitkäaikaisen työntekijän Murray Davidsonin jäämisestä eläkkeelle 22 vuoden työskentelyn jälkeen alkuperäisessä McCaffrey’sin toimipisteessä Yardleyssä, PA:ssa.