Jim McCaffrey III började arbeta i livsmedelsbutiker som student. År 1980 öppnade McCaffrey sitt första företag, en delikatessbutik i nordöstra Philadelphia. Tillsammans med sin son Jim McCaffrey IV öppnade McCaffrey III McCaffrey’s Food Market i Yardley, Pennsylvania 1986. Den utvidgade livsmedelsbutiken hade avdelningar med produkter, mejeriprodukter och delikatesser tillsammans med ett brett urval av detaljhandelsvaror.
1992 expanderade McCaffrey’s med en ny lokal i Princeton, NJ.
1996 expanderade McCaffrey’s med en ny butik i West Windsor, New Jersey.
Den 29 februari 2004 upptäckte kunder till McCaffrey’s supermarket i Yardley, Pennsylvania, att lågor kom från buskar och löv i anslutning till byggnadens södra vägg. Två tjänstgörande poliser från Lower Makefield Township, Bucks County, Pennsylvania Police Department upptäckte rök omkring kl. 16.12 och kontaktade den lokala brandkåren. Poliserna Glen Hamilton och Jason Braim gick in i butiken och hjälpte till att evakuera de nästan 200 kunderna och de anställda som befann sig där inne. Enligt uppgift tog det nästan 35 minuter för Yardley-Makefield Fire Company, som ligger mittemot Edgewood Village Shopping Center, att anlända till platsen och ytterligare 17 minuter innan de började pumpa vatten. Branden var begränsad vid 17-tiden, men lämnade byggnaden och taket svårt skadade.
Snart efter branden uppförde McCaffrey’s ett 10 000 kvadratmeter stort tält på parkeringsplatsen vid Edgewood Village Shopping Center. Den provisoriska butiken, som var utrustad med elektricitet, kylning och rörledningar, innehöll en delikatessbutik med full service, tillagade rätter, bageri- och köttavdelningar samt ett begränsat utbud av matvaror.
Den 15 juli 2012 öppnade McCaffrey’s en butik i Newtown, Pennsylvania, på den plats där Genuardi’s tidigare hade legat.
Den 21 april 2016 öppnade McCaffrey’s ett nytt, mindre gourmetmarknadskoncept på 13 000 kvadratmeter med namnet Simply Fresh i Doylestown, Pennsylvania, på platsen för en före detta bilaffär från Ford Motor Company.
Den 22 juli 2016 öppnade McCaffrey’s en stormarknad på 50 000 kvadratmeter i Blue Bell, Pennsylvania i en före detta Super Fresh, med en ölträdgård och stationer för gourmetmat.
Den 9 januari 2020 expanderade McCaffrey’s med ett nytt läge i New Hope, Pennsylvania. I september 2020 rapporterade lokala medier om att Murray Davidson, en mångårig medarbetare, gick i pension efter att ha arbetat i 22 år på den ursprungliga McCaffrey’s-butiken i Yardley, Pennsylvania.