Jim McCaffrey III begann schon als Student in Lebensmittelgeschäften zu arbeiten. Im Jahr 1980 eröffnete McCaffrey sein erstes Geschäft, einen Feinkostladen im Nordosten von Philadelphia. Zusammen mit seinem Sohn Jim McCaffrey IV eröffnete McCaffrey III 1986 McCaffrey’s Food Market in Yardley, Pennsylvania. Der erweiterte Lebensmittelladen bot neben einer großen Auswahl an Einzelhandelsartikeln auch eine Abteilung für Obst und Gemüse, Molkereiprodukte und Feinkost an.
Im Jahr 1992 expandierte McCaffrey’s mit einem neuen Standort in Princeton, NJ.
Im Jahr 1996 expandierte McCaffrey’s mit einem neuen Standort in West Windsor, New Jersey.
Am 29. Februar 2004 bemerkten Kunden des McCaffrey’s-Supermarktes in Yardley, Pennsylvania, Flammen, die aus Büschen und Blättern neben der Südwand des Gebäudes schlugen. Zwei diensthabende Polizisten der Polizeibehörde von Lower Makefield Township, Bucks County, Pennsylvania, entdeckten gegen 16.12 Uhr Rauch und verständigten die örtliche Feuerwehr. Die Polizisten Glen Hamilton und Jason Braim betraten den Laden und halfen bei der Evakuierung der fast 200 Kunden und Angestellten. Berichten zufolge dauerte es fast 35 Minuten, bis die Yardley-Makefield Fire Company, die sich direkt gegenüber dem Edgewood Village Shopping Center befindet, am Einsatzort eintraf, und weitere 17 Minuten, bevor sie mit dem Abpumpen von Wasser begann. Das Feuer konnte gegen 17 Uhr eingedämmt werden, aber das Gebäude und das Dach wurden schwer beschädigt.
Sofort nach dem Brand errichtete McCaffrey’s ein 10.000 Quadratmeter großes Zelt auf dem Parkplatz des Edgewood Village Shopping Centers. Ausgestattet mit Elektrizität, Kühlung und Sanitäranlagen, bot das provisorische Geschäft ein Delikatessengeschäft, Fertiggerichte, eine Bäckerei und eine Fleischabteilung sowie eine begrenzte Auswahl an Lebensmitteln.
Am 15. Juli 2012 eröffnete McCaffrey’s eine Filiale in Newtown, Pennsylvania, am ehemaligen Standort eines Genuardi’s Supermarktes.
Am 21. April 2016 eröffnete McCaffrey’s in Doylestown, Pennsylvania, auf dem Gelände eines ehemaligen Autohauses der Ford Motor Company ein neues, kleineres, 13.000 Quadratmeter großes Gourmet-Marktkonzept namens Simply Fresh.
Am 22. Juli 2016 eröffnete McCaffrey’s einen 50.000 Quadratmeter großen Supermarkt in Blue Bell, Pennsylvania, in einem ehemaligen Super Fresh, mit einem Biergarten und Stationen für zubereitete Gourmetgerichte.
Am 9. Januar 2020 expandierte McCaffrey’s mit einem neuen Standort in New Hope, Pennsylvania. Ebenfalls im September 2020 berichteten die lokalen Medien über die Verabschiedung des langjährigen Mitarbeiters Murray Davidson in den Ruhestand, nachdem er 22 Jahre lang am ursprünglichen McCaffrey’s-Standort in Yardley, PA, gearbeitet hatte.