L’attività della famiglia Stouffer affonda le sue radici nel 1898 quando James B. Stouffer e suo figlio Abraham E. Stouffer avviarono la Cottage Creamery Co. allo Sheriff Street Market di Cleveland. Nel 1901, il figlio di James, Abraham E. Stouffer, all’età di 26 anni, divenne vicepresidente della società.
Nel 1905, la famiglia Stouffer fondò e incorporò la Medina County Creamery Company a Medina, Ohio, con 20.000 dollari di capitale sociale.
James B. Stouffer morì il 23 novembre 1908 all’età di 62 anni a Orlando, Orange County, Florida, e Abraham prese in mano la gestione dell’azienda.
L’11 gennaio 1912, la Medina County Creamery Company presentò un cambio di indirizzo a Cleveland. Nel 1914, l’azienda si espanse e aprì la filiale di Detroit, Michigan, della Medina County Creamery Company. In questo periodo la fabbrica di panna era il più grande produttore e grossista di prodotti di panna nella città di Cleveland con oltre 1.500 agricoltori che rifornivano la Stouffer’s Medina County Creamery Co.
All’inizio del 1920, la redditizia fabbrica di panna di Stouffer attirò l’attenzione di The Fairmont Creamery, ora Fairmont Foods, la più grande azienda di panna negli Stati Uniti. Nel dicembre 1920, Abraham Stouffer annunciò che la sua azienda, The Medina County Creamery Co. di 2171 East 4th Street, Cleveland Ohio, si sarebbe fusa con Fairmont Creamery Co. di Omaha, Nebraska, attraverso la proprietà delle azioni. Abraham E. Stouffer avrebbe continuato a far parte della fusione e avrebbe supervisionato lo stabilimento di Cleveland fino al 1922.
Nel 1922, Abraham E. Stouffer rilevò uno dei banchi del latte di proprietà della sua azienda casearia. Il negozio di latte, latticello e panini era nel sud-ovest della Cleveland Arcade (livello inferiore) e lo trasformò in un ristorante con sua moglie Lena Mahala Bigelow. Lo Stouffer Lunch System fu un’idea che Abraham ebbe negli anni precedenti alla vendita della Media County Creamery Co. nel 1920. Gli Stouffer convertirono l’operazione in un ristorante che serviva latticello, panini e la torta di mele olandese fatta in casa da Lena Stouffer (accreditata da alcuni come la ragione del successo quasi immediato del ristorante). Aprirono il primo ristorante, chiamato Stouffer Lunch, nel 1924. Con il passare del tempo, la coppia continuò il programma di espansione con l’assistenza dei figli Vernon, laureato alla Wharton School of Finance, e Gordon, che insieme guidarono la riorganizzazione dell’azienda, portandola in borsa come Stouffer Corporation nel 1929 con Abraham come presidente del consiglio di amministrazione.
L’anno 1929 segnò anche l’inizio dello sforzo dell’azienda di stabilire sedi fuori dall’Ohio con l’apertura di un ristorante a Detroit, Michigan, e uno a Pittsburgh, Pennsylvania. Dopo la morte di Abraham nel 1936 l’azienda continuò il suo programma di espansione aprendo il suo primo ristorante a New York City e alla fine iniziò un programma di diversificazione, entrando nel business dei cibi congelati nel 1946. Nel 1960 l’azienda, formalmente rinominata Stouffer Foods Corporation nel 1956, acquistò il suo primo hotel, l’Anacapri Inn di Fort Lauderdale, in Florida, e, alla fine di quell’anno, l’azienda era composta da tre divisioni: Stouffer Foods Corporation, Stouffer Hotels Corporation e Stouffer Restaurants Corporation. Nel 1961, Stouffer’s aprì due ristoranti automatici di breve durata. Stouffer’s rilevò questo complesso di ristoranti con cucina condivisa (Plaza Pavilion). Nel 1962 Stouffer’s Disneyland ospitò Plaza Pavilion, Tahitian Terrace, e il ristorante French Market. Nel 1967, Stouffer Corporation fu acquistata da Litton Industries per scopi di integrazione verticale, quando questa società aveva una grande quota del mercato dei forni a microonde, ma nel 1973, Litton vendette Stouffer a Nestlé. Nel 1993, Nestlé annunciò la sua intenzione di vendere Stouffer Hotels a New World Development Co Ltd che all’epoca possedeva i marchi Renaissance & Ramada Hotel (il marchio Stouffer Hotel fu ritirato alla fine del 1996) come parte di una rifocalizzazione dell’azienda sui prodotti alimentari. La transazione fu completata nel 1996. Alcuni ristoranti Stouffer’s sono ora ristoranti Select.