Stouffer-familiens virksomhed har rødder tilbage til 1898, da James B. Stouffer og hans søn Abraham E. Stouffer startede Cottage Creamery Co. på Sheriff Street Market i Cleveland. I 1901 blev James’ søn Abraham E. Stouffer i en alder af 26 år vicepræsident for virksomheden.
I 1905 etablerede og indgik familien Stouffer Medina County Creamery Company i Medina, Ohio, med en aktiekapital på 20.000 dollars.
James B. Stouffer døde den 23. november 1908 i en alder af 62 år i Orlando, Orange County, Florida, og Abraham overtog ledelsen af virksomheden.
Den 11. januar 1912 indgav The Medina County Creamery Company en adresseændring til Cleveland. I 1914 havde virksomheden udvidet og åbnede The Medina County Creamery Company Detroit, Michigan-filial. På dette tidspunkt var flødefabrikken den største producent og grossist af flødeprodukter i byen Cleveland med over 1.500 landmænd, der leverede til Stouffer’s Medina County Creamery Co.
I begyndelsen af 1920 tiltrak Stouffer’s lukrative flødefabrik sig opmærksomheden fra The Fairmont Creamery, nu Fairmont Foods, det største flødevarefirma i USA. I december 1920 meddelte Abraham Stouffer, at hans virksomhed, The Medina County Creamery Co. i 2171 East 4th Street, Cleveland Ohio, ville fusionere med Fairmont Creamery Co. i Omaha, Nebraska, gennem aktieejerskab. Abraham E. Stouffer ville fortsætte som en del af fusionen og føre tilsyn med fabrikken i Cleveland indtil 1922.
I 1922 overtog Abraham E. Stouffer en af de mælkeboder, der var ejet af hans mejeriselskab. Mælke-, kærnemælk- og sandwichbutikken lå i den sydvestlige del af Cleveland Arcade (nederste niveau) og omdannede den til en restaurant sammen med sin kone Lena Mahala Bigelow. Stouffer Lunch System var en idé, som Abraham fik i årene før han solgte Media County Creamery Co. i 1920. Stouffers omdannede driften til en restaurant, hvor der blev serveret kærnemælk, sandwiches og Lena Stouffers hjemmelavede hollandske æbletærte (nogle mener, at det var grunden til restaurantens næsten øjeblikkelige succes). De åbnede den første restaurant, kaldet Stouffer Lunch, i 1924. Efterhånden fortsatte parret ekspansionsprogrammet med hjælp fra deres sønner Vernon, der var uddannet på Wharton School of Finance, og Gordon, der sammen stod i spidsen for reorganiseringen af virksomheden og førte den til børsnotering som Stouffer Corporation i 1929 med Abraham som bestyrelsesformand.
Året 1929 markerede også begyndelsen på virksomhedens bestræbelser på at etablere sig uden for Ohio med åbningen af en restaurant i Detroit, Michigan, og en i Pittsburgh, Pennsylvania. Efter Abrahams død i 1936 fortsatte virksomheden sit ekspansionsprogram ved at åbne sin første restaurant i New York City og begyndte til sidst et program for diversificering og gik ind i branchen for frosne fødevarer i 1946. I 1960 købte virksomheden, der i 1956 blev omdøbt til Stouffer Foods Corporation, sit første hotel, Anacapri Inn i Fort Lauderdale, Florida, og ved udgangen af samme år bestod virksomheden af tre afdelinger: Stouffer Foods Corporation, Stouffer Hotels Corporation og Stouffer Restaurants Corporation. I 1961 åbnede Stouffer’s to kortvarige automatiske automatrestauranter, og i 1961 overtog Stouffer’s dette restaurantkompleks med fælles køkken (Plaza Pavilion). I 1962 var Stouffer’s Disneyland vært for Plaza Pavilion, Tahitian Terrace og French Market Restaurant. I 1967 blev Stouffer Corporation opkøbt af Litton Industries med henblik på vertikal integration, da dette selskab havde en stor andel af markedet for mikrobølgeovne, men i 1973 solgte Litton Stouffer til Nestlé. I 1993 meddelte Nestlé, at det havde til hensigt at sælge Stouffer Hotels til New World Development Co Ltd, som på det tidspunkt ejede Renaissance & Ramada Hotel-mærkerne (Stouffer Hotel-mærket blev trukket tilbage ved udgangen af 1996) som led i en omlægning af virksomheden til fødevareprodukter. Transaktionen var afsluttet i 1996. Nogle Stouffer’s-restauranter er nu Select Restaurants.