Jim McCaffrey III begon als student in kruidenierswinkels te werken. In 1980 opende McCaffrey zijn eerste zaak, een delicatessenzaak in het noordoosten van Philadelphia. Samen met zijn zoon Jim McCaffrey IV, opende McCaffrey III in 1986 McCaffrey’s Food Market in Yardley, Pennsylvania. De uitgebreide kruidenierswinkel had producten, zuivel, en delicatessen secties naast een brede selectie van de detailhandel food items.
In 1992, McCaffrey’s uitgebreid met een nieuwe locatie in Princeton, NJ.
In 1996, McCaffrey’s uitgebreid met een nieuwe locatie in West Windsor, New Jersey.
Op 29 februari 2004 klanten van de McCaffrey’s supermarkt in Yardley, Pennsylvania merkte vlammen komen uit struiken en bladeren grenzend aan de zuidelijke muur van het gebouw. Twee dienstdoende agenten van het Lower Makefield Township, Bucks County, Pennsylvania Police Department zagen om ongeveer 16.12 uur rook en namen contact op met de plaatselijke brandweer. Agenten Glen Hamilton en Jason Braim gingen de winkel binnen en hielpen bij de evacuatie van de bijna 200 klanten en werknemers binnen. Volgens berichten duurde het bijna 35 minuten voordat de brandweer van Yardley-Makefield, die direct tegenover het Edgewood Village Shopping Center is gevestigd, ter plaatse was en nog eens 17 minuten voordat zij water begonnen te pompen. De brand was rond 17.00 uur onder controle, maar liet het gebouw en het dak zwaar beschadigd achter.
Snel na de brand bouwde McCaffrey’s een tent van 10.000 vierkante meter op de parkeerplaats van het Edgewood Village Shopping Center. Uitgerust met elektriciteit, koeling, en sanitair, de geïmproviseerde winkel featured een full-service deli, bereid voedsel, in-store bakkerij en vlees afdelingen, evenals een beperkte selectie van kruidenierswaren.
Op 15 juli 2012, McCaffrey’s opende een Newtown, Pennsylvania locatie in de voormalige plaats van een Genuardi’s supermarkt.
Op 21 april 2016 opende McCaffrey’s een nieuw, kleiner, 13.000 vierkante voet groot gastronomisch marktconcept genaamd Simply Fresh in Doylestown, Pennsylvania op de plaats van een voormalig Ford Motor Company autodealerbedrijf.
Op 22 juli 2016 opende McCaffrey’s een 50.000 vierkante meter grote supermarkt in Blue Bell, Pennsylvania in een voormalige Super Fresh, met een biertuin en gastronomische bereide voedselstations.
Op 9 januari 2020 breidde McCaffrey’s uit met een nieuwe locatie in New Hope, Pennsylvania. Ook in september 2020, lokale media berichtte over de pensionering van lange tijd medewerker Murray Davidson na 22 jaar gewerkt te hebben op de oorspronkelijke McCaffrey’s locatie in Yardley, PA.