Jim McCaffrey III começou a trabalhar em mercearias como estudante universitário. Em 1980, McCaffrey abriu seu primeiro negócio, uma charcutaria localizada no Nordeste, Filadélfia. Junto com seu filho Jim McCaffrey IV, McCaffrey III abriu McCaffrey’s Food Market em Yardley, Pennsylvania, em 1986. A mercearia expandida apresentava seções de produtos, laticínios e charcutaria ao lado de uma ampla seleção de itens de varejo.
Em 1992, McCaffrey’s expandiu com uma nova localização em Princeton, NJ.
Em 1996, McCaffrey’s expandiu-se com uma nova localização em West Windsor, New Jersey.
Em 29 de fevereiro de 2004, clientes do supermercado McCaffrey’s em Yardley, Pennsylvania notaram chamas vindas de arbustos e folhas adjacentes à parede sul do edifício. Duas ofertas policiais em serviço do município de Lower Makefield, condado de Bucks, Departamento de Polícia da Pensilvânia avistaram fumaça por volta das 16:12h e entraram em contato com o despacho de incêndio local. Os agentes Glen Hamilton e Jason Braim entraram na loja e ajudaram a evacuar os quase 200 clientes e funcionários que estavam lá dentro. Relatórios afirmam que demorou quase 35 minutos para a Companhia de Bombeiros Yardley-Makefield, que está localizada diretamente do outro lado da rua do Shopping Edgewood Village, chegar ao local e mais 17 minutos antes que eles começassem a bombear água. O incêndio foi contido por volta das 17h00, mas deixou o edifício e o telhado gravemente danificados.
Pouco depois do incêndio, McCaffrey’s montou uma tenda de 10.000 pés quadrados no estacionamento do Edgewood Village Shopping Center. Equipada com electricidade, refrigeração e canalização, a loja improvisada apresentava um serviço completo de charcutaria, alimentos preparados, padaria na loja e departamentos de carne, bem como uma selecção limitada de artigos de mercearia.
Em 15 de Julho de 2012, McCaffrey’s abriu uma loja em Newtown, Pensilvânia, no antigo local de um supermercado Genuardi’s.
Em 21 de abril de 2016, McCaffrey’s abriu um novo conceito de mercado gourmet de 13.000 pés quadrados chamado Simply Fresh em Doylestown, Pensilvânia, no local de uma antiga concessionária de automóveis da Ford Motor Company.
Em 22 de julho de 2016, McCaffrey’s abriu um supermercado de 50.000 pés quadrados em Blue Bell, Pensilvânia, num antigo Super Fresh, com uma cervejaria e estações de alimentos preparados gourmet.
Em 9 de janeiro de 2020, McCaffrey’s expandiu com uma nova localização em New Hope, Pensilvânia. Também em setembro de 2020, a mídia local cobriu a aposentadoria do associado de longa data Murray Davidson após 22 anos de trabalho na localização original de McCaffrey em Yardley, PA.