Jim McCaffrey III begyndte at arbejde i købmandsforretninger som universitetsstuderende. I 1980 åbnede McCaffrey sin første forretning, en delikatesseforretning i det nordøstlige Philadelphia. Sammen med sin søn Jim McCaffrey IV åbnede McCaffrey III i 1986 McCaffrey’s Food Market i Yardley, Pennsylvania. Den udvidede købmandsbutik havde afdelinger med produkter, mejeriprodukter og delikatesser sammen med et bredt udvalg af detailfødevarer.
I 1992 udvidede McCaffrey’s med en ny beliggenhed i Princeton, NJ.
I 1996 udvidede McCaffrey’s med en ny forretning i West Windsor, New Jersey.
Den 29. februar 2004 bemærkede kunderne i McCaffrey’s supermarked i Yardley, Pennsylvania, at der kom flammer fra buske og blade ved siden af bygningens sydlige væg. To tjenstgørende polititilbud fra Lower Makefield Township, Bucks County, Pennsylvania Police Department opdagede røg omkring kl. 16.12 og kontaktede den lokale brandvæsenets alarmcentral. Betjentene Glen Hamilton og Jason Braim gik ind i butikken og hjalp med at evakuere de næsten 200 kunder og ansatte, der var i butikken. Ifølge rapporter tog det næsten 35 minutter, før Yardley-Makefield Fire Company, der ligger lige overfor Edgewood Village Shopping Center, ankom til stedet, og det tog yderligere 17 minutter, før de begyndte at pumpe vand. Branden var begrænset omkring kl. 17.00, men efterlod bygningen og taget alvorligt beskadiget.
Snart efter branden opstillede McCaffrey’s et telt på 10.000 kvadratmeter på parkeringspladsen ved Edgewood Village Shopping Center. Den provisoriske butik var udstyret med elektricitet, køling og VVS og havde en delikatessebutik med fuld service, færdigretter, bageri og kødafdeling samt et begrænset udvalg af dagligvarer.
Den 15. juli 2012 åbnede McCaffrey’s en butik i Newtown, Pennsylvania, på det sted, hvor der tidligere lå et Genuardi’s-supermarked.
Den 21. april 2016 åbnede McCaffrey’s et nyt, mindre gourmetmarkedskoncept på 13.000 kvadratmeter kaldet Simply Fresh i Doylestown, Pennsylvania, på stedet for en tidligere bilforhandler fra Ford Motor Company.
Den 22. juli 2016 åbnede McCaffrey’s et supermarked på 50.000 kvadratmeter i Blue Bell, Pennsylvania, i et tidligere Super Fresh, med en ølhave og gourmet-stationer med færdigretter.
Den 9. januar 2020 udvidede McCaffrey’s med et nyt sted i New Hope, Pennsylvania. I september 2020 dækkede de lokale medier også pensioneringen af den mangeårige medarbejder Murray Davidson efter 22 års arbejde på den oprindelige McCaffrey’s-butik i Yardley, PA.