Podnik rodiny Stoufferů má kořeny v roce 1898, kdy James B. Stouffer a jeho syn Abraham E. Stouffer založili společnost Cottage Creamery Co. na trhu na Sheriff Street v Clevelandu. V roce 1901 se Jamesův syn Abraham E. Stouffer ve věku 26 let stal viceprezidentem společnosti.
V roce 1905 rodina Stoufferů založila a zaregistrovala společnost Medina County Creamery Company v Medině ve státě Ohio s kapitálem 20 000 dolarů.
James B. Stouffer zemřel 23. listopadu 1908 ve věku 62 let v Orlandu v okrese Orange na Floridě a Abraham převzal vedení společnosti.
11. ledna 1912 společnost The Medina County Creamery Company podala žádost o změnu adresy na Cleveland. V roce 1914 se společnost rozšířila a otevřela pobočku The Medina County Creamery Company v Detroitu ve státě Michigan. V tomto období byla smetanárna největším výrobcem a velkoobchodníkem se smetanovými výrobky ve městě Clevelandu a více než 1 500 farmářů zásobovalo společnost Stouffer’s Medina County Creamery Co.
Na začátku roku 1920 přitáhla Stoufferova lukrativní smetanárna pozornost společnosti The Fairmont Creamery, nyní Fairmont Foods, největší smetanové společnosti ve Spojených státech. V prosinci 1920 Abraham Stouffer oznámil, že se jeho společnost The Medina County Creamery Co. z 2171 East 4th Street v Clevelandu v Ohiu spojí se společností Fairmont Creamery Co. z Omahy v Nebrasce prostřednictvím vlastnictví akcií. Abraham E. Stouffer měl v rámci fúze pokračovat a dohlížet na závod v Clevelandu až do roku 1922.
V roce 1922 převzal Abraham E. Stouffer jeden ze stánků s mlékem, který vlastnila jeho mlékárenská společnost. Prodejna mléka, podmáslí a sendvičů se nacházela v jihozápadní části clevelandské pasáže (ve spodním patře) a spolu se svou ženou Lenou Mahalou Bigelow ji přeměnil na restauraci. Stoufferův obědový systém byl nápad, který měl Abraham v letech před prodejem společnosti Media County Creamery Co. v roce 1920. Stoufferovi přestavěli provoz na restauraci, v níž se podávalo podmáslí, sendviče a domácí holandský jablečný koláč Leny Stoufferové (někteří ho považují za důvod téměř okamžitého úspěchu restaurace). První restauraci s názvem Stouffer Lunch otevřeli v roce 1924. Postupem času manželé pokračovali v programu expanze za pomoci svých synů Vernona, absolventa Wharton School of Finance, a Gordona, kteří společně vedli reorganizaci podniku a v roce 1929 jej uvedli na burzu jako Stouffer Corporation s Abrahamem jako předsedou představenstva.
Rok 1929 také znamenal začátek snahy společnosti o založení poboček mimo Ohio otevřením restaurace v Detroitu ve státě Michigan a jedné v Pittsburghu v Pensylvánii. Po Abrahamově smrti v roce 1936 společnost pokračovala v programu expanze otevřením první restaurace v New Yorku a nakonec zahájila program diverzifikace a v roce 1946 vstoupila do obchodu s mraženými potravinami. V roce 1960 společnost, která se v roce 1956 formálně přejmenovala na Stouffer Foods Corporation, koupila svůj první hotel Anacapri Inn ve Fort Lauderdale na Floridě a koncem téhož roku se společnost skládala ze tří divizí: Stouffer Foods Corporation, Stouffer Hotels Corporation a Stouffer Restaurants Corporation. V roce 1961 společnost Stouffer’s otevřela dvě krátkodobě fungující restaurace s automatickými prodejními automaty, které převzala do komplexu restaurací se společnou kuchyní (Plaza Pavilion). V roce 1962 hostil Stouffer’s Disneyland Plaza Pavilion, Tahitian Terrace a French Market Restaurant. V roce 1967 byla společnost Stouffer Corporation koupena společností Litton Industries za účelem vertikální integrace, když tato společnost měla velký podíl na trhu mikrovlnných trub, ale v roce 1973 Litton společnost Stouffer prodal společnosti Nestlé. V roce 1993 společnost Nestlé oznámila svůj záměr prodat společnost Stouffer Hotels společnosti New World Development Co Ltd, která v té době vlastnila značky Renaissance & Ramada Hotel (značka Stouffer Hotel byla vyřazena koncem roku 1996) v rámci přeorientování společnosti na potravinářské výrobky. Transakce byla dokončena v roce 1996. Některé restaurace Stouffer’s se nyní nazývají Select Restaurants
.