Jim McCaffrey III empezó a trabajar en tiendas de alimentación cuando era estudiante universitario. En 1980, McCaffrey abrió su primer negocio, una charcutería situada en el noreste de Filadelfia. Junto con su hijo Jim McCaffrey IV, McCaffrey III abrió McCaffrey’s Food Market en Yardley, Pensilvania, en 1986. La tienda de comestibles ampliada contaba con secciones de productos agrícolas, lácteos y delicatessen junto con una amplia selección de alimentos al por menor.
En 1992, McCaffrey’s se expandió con una nueva ubicación en Princeton, NJ.
En 1996, McCaffrey’s se expandió con un nuevo local en West Windsor, Nueva Jersey.
El 29 de febrero de 2004, los clientes del supermercado McCaffrey’s de Yardley, Pensilvania, notaron que salían llamas de los arbustos y las hojas adyacentes a la pared sur del edificio. Dos policías de servicio del Departamento de Policía de Lower Makefield Township, Condado de Bucks, Pennsylvania, vieron el humo aproximadamente a las 4:12 de la tarde y se pusieron en contacto con la central de bomberos local. Los agentes Glen Hamilton y Jason Braim entraron en la tienda y ayudaron a evacuar a los casi 200 clientes y empleados que había en su interior. Según los informes, la compañía de bomberos de Yardley-Makefield, que se encuentra justo enfrente del centro comercial Edgewood Village, tardó casi 35 minutos en llegar al lugar de los hechos y otros 17 minutos antes de empezar a bombear agua. El incendio fue controlado alrededor de las 5 de la tarde, pero dejó el edificio y el tejado gravemente dañados.
Poco después del incendio, McCaffrey’s levantó una tienda de 3.000 metros cuadrados en el aparcamiento del centro comercial Edgewood Village. Equipada con electricidad, refrigeración y fontanería, la tienda improvisada contaba con un servicio completo de charcutería, alimentos preparados, panadería y departamentos de carne, así como una selección limitada de artículos de alimentación.
El 15 de julio de 2012, McCaffrey’s abrió un local en Newtown, Pennsylvania, en el antiguo emplazamiento de un supermercado Genuardi’s.
El 21 de abril de 2016, McCaffrey’s abrió un nuevo concepto de mercado gourmet más pequeño de 13.000 pies cuadrados llamado Simply Fresh en Doylestown, Pensilvania, en el lugar de un antiguo concesionario de automóviles de Ford Motor Company.
El 22 de julio de 2016, McCaffrey’s abrió un supermercado de 50.000 pies cuadrados en Blue Bell, Pensilvania, en un antiguo Super Fresh, con una cervecería al aire libre y puestos de comida preparada gourmet.
El 9 de enero de 2020, McCaffrey’s se expandió con un nuevo local en New Hope, Pensilvania. También en septiembre de 2020, los medios de comunicación locales cubrieron la jubilación de Murray Davidson, asociado de larga data, después de 22 años de trabajo en la ubicación original de McCaffrey’s en Yardley, PA.