Jim McCaffrey III ha iniziato a lavorare nei negozi di alimentari quando era studente universitario. Nel 1980, McCaffrey ha aperto la sua prima attività, un deli situato a Northeast, Philadelphia. Insieme a suo figlio Jim McCaffrey IV, McCaffrey III ha aperto il McCaffrey’s Food Market a Yardley, Pennsylvania nel 1986. Il negozio di alimentari espanso presentava prodotti, latticini e sezioni di gastronomia accanto a un’ampia selezione di articoli alimentari al dettaglio.
Nel 1992, McCaffrey si è espanso con una nuova sede a Princeton, NJ.
Nel 1996, McCaffrey’s si espanse con una nuova sede a West Windsor, New Jersey.
Il 29 febbraio 2004 i clienti del supermercato McCaffrey’s di Yardley, Pennsylvania notarono delle fiamme provenienti da cespugli e foglie adiacenti alla parete sud dell’edificio. Due poliziotti in servizio del dipartimento di polizia di Lower Makefield Township, Bucks County, Pennsylvania, hanno notato del fumo alle 16:12 circa e hanno contattato la centrale antincendio locale. Gli agenti Glen Hamilton e Jason Braim sono entrati nel negozio e hanno aiutato ad evacuare i quasi 200 clienti e dipendenti all’interno. I rapporti affermano che ci sono voluti quasi 35 minuti per la Yardley-Makefield Fire Company, che si trova proprio di fronte al centro commerciale Edgewood Village, per arrivare sulla scena e altri 17 minuti prima di iniziare a pompare acqua. L’incendio è stato contenuto intorno alle 17, ma ha lasciato l’edificio e il tetto gravemente danneggiati.
Subito dopo l’incendio, McCaffrey ha eretto una tenda di 10.000 piedi quadrati nel parcheggio del centro commerciale Edgewood Village. Dotato di elettricità, refrigerazione e impianto idraulico, il negozio di fortuna presentava un servizio completo di gastronomia, cibi preparati, panetteria e reparti di carne, nonché una selezione limitata di articoli alimentari.
Il 15 luglio 2012, McCaffrey ha aperto una sede a Newtown, in Pennsylvania, nell’ex sede di un supermercato Genuardi’s.
Il 21 aprile 2016, McCaffrey’s ha aperto un nuovo, più piccolo concetto di mercato gourmet di 13.000 piedi quadrati chiamato Simply Fresh a Doylestown, Pennsylvania nel sito di una ex concessionaria di auto Ford Motor Company.
Il 22 luglio 2016, McCaffrey ha aperto un supermercato di 50.000 piedi quadrati a Blue Bell, Pennsylvania in un ex Super Fresh, con una birreria all’aperto e stazioni di cibo preparato gourmet.
Il 9 gennaio 2020, McCaffrey si è ampliato con una nuova sede a New Hope, Pennsylvania. Sempre nel settembre 2020, i media locali hanno coperto il pensionamento del socio di lunga data Murray Davidson dopo 22 anni di lavoro nella sede originale di McCaffrey’s a Yardley, PA.