Jim McCaffrey III a commencé à travailler dans des épiceries alors qu’il était étudiant. En 1980, McCaffrey a ouvert sa première entreprise, une charcuterie située dans le nord-est, à Philadelphie. Avec son fils Jim McCaffrey IV, McCaffrey III a ouvert McCaffrey’s Food Market à Yardley, Pennsylvanie en 1986. L’épicerie agrandie comportait des sections de fruits et légumes, de produits laitiers et d’épicerie fine aux côtés d’une large sélection d’articles alimentaires au détail.
En 1992, McCaffrey’s s’est agrandi avec un nouvel emplacement à Princeton, NJ.
En 1996, McCaffrey’s s’est agrandi avec un nouvel emplacement à West Windsor, New Jersey.
Le 29 février 2004, des clients du supermarché McCaffrey’s de Yardley, Pennsylvanie, ont remarqué des flammes provenant de buissons et de feuilles adjacentes au mur sud du bâtiment. Deux officiers de police en service du département de police de Lower Makefield Township, Bucks County, Pennsylvanie, ont repéré de la fumée vers 16h12 et ont contacté la centrale d’incendie locale. Les officiers Glen Hamilton et Jason Braim sont entrés dans le magasin et ont aidé à évacuer les quelque 200 clients et employés qui s’y trouvaient. Selon les rapports, il a fallu près de 35 minutes à la compagnie de pompiers de Yardley-Makefield, située juste en face du centre commercial Edgewood Village, pour arriver sur les lieux et 17 minutes supplémentaires pour commencer à pomper de l’eau. L’incendie a été contenu vers 17 heures, mais a laissé le bâtiment et le toit gravement endommagés.
Suite à l’incendie, McCaffrey’s a érigé une tente de 10 000 pieds carrés dans le stationnement du centre commercial Edgewood Village. Équipé de l’électricité, de la réfrigération et de la plomberie, le magasin de fortune présentait un service complet de charcuterie, des aliments préparés, une boulangerie en magasin et des rayons de viande, ainsi qu’une sélection limitée d’articles d’épicerie.
Le 15 juillet 2012, McCaffrey’s a ouvert un emplacement à Newtown, en Pennsylvanie, sur l’ancien site d’un supermarché Genuardi’s.
Le 21 avril 2016, McCaffrey’s a ouvert un nouveau concept de marché gastronomique plus petit de 13 000 pieds carrés appelé Simply Fresh à Doylestown, en Pennsylvanie, sur le site d’un ancien concessionnaire automobile Ford Motor Company.
Le 22 juillet 2016, McCaffrey’s a ouvert un supermarché de 50 000 pieds carrés à Blue Bell, en Pennsylvanie, dans un ancien Super Fresh, avec un beer garden et des stations de plats cuisinés gastronomiques.
Le 9 janvier 2020, McCaffrey’s s’est agrandi avec un nouvel emplacement à New Hope, en Pennsylvanie. Toujours en septembre 2020, les médias locaux ont couvert le départ à la retraite de Murray Davidson, associé de longue date, après 22 ans de travail dans l’emplacement original de McCaffrey’s à Yardley, PA.
.