Familjeföretaget Stouffer har sina rötter i 1898, då James B. Stouffer och hans son Abraham E. Stouffer startade Cottage Creamery Co. på Sheriff Street Market i Cleveland. År 1901 blev James son Abraham E. Stouffer, vid 26 års ålder, vice ordförande i företaget.
1905 grundade och bolagiserade familjen Stouffer Medina County Creamery Company i Medina, Ohio, med ett aktiekapital på 20 000 dollar.
James B. Stouffer avled den 23 november 1908 vid 62 års ålder i Orlando, Orange County, Florida, och Abraham tog över driften av företaget.
Den 11 januari 1912 lämnade The Medina County Creamery Company in en adressändring till Cleveland. År 1914 hade företaget expanderat och öppnade The Medina County Creamery Company Detroit, Michigan filial. Vid denna tidpunkt var gräddfabriken den största tillverkaren och grossisten av gräddprodukter i staden Cleveland med över 1 500 jordbrukare som levererade till Stouffer’s Medina County Creamery Co.
I början av 1920 uppmärksammades Stouffer’s lukrativa gräddfabrik av The Fairmont Creamery, numera Fairmont Foods, det största gräddfabriksbolaget i USA. I december 1920 meddelade Abraham Stouffer att hans företag, The Medina County Creamery Co. med säte på 2171 East 4th Street i Cleveland, Ohio, skulle gå samman med Fairmont Creamery Co. i Omaha, Nebraska, genom aktieägande. Abraham E. Stouffer skulle fortsätta som en del av fusionen och övervaka anläggningen i Cleveland fram till 1922.
År 1922 tog Abraham E. Stouffer över ett av de mjölkstånd som ägdes av hans mejeriföretag. Mjölk-, kärnmjölks- och smörgåsbutiken låg i sydvästra delen av Cleveland Arcade (nedre plan) och förvandlade den till en restaurang tillsammans med sin fru Lena Mahala Bigelow. Stouffer Lunch System var en idé som Abraham hade under åren innan han sålde Media County Creamery Co. 1920. Stouffers byggde om verksamheten till en restaurang som serverade kärnmjölk, smörgåsar och Lena Stouffers hemgjorda holländska äppelpaj (som av vissa anses vara orsaken till restaurangens nästan omedelbara framgång). De öppnade den första restaurangen, kallad Stouffer Lunch, 1924. Med tiden fortsatte paret expansionsprogrammet med hjälp av sina söner Vernon, som hade examen från Wharton School of Finance, och Gordon, som tillsammans ledde omorganiseringen av företaget och tog det till börsen som Stouffer Corporation 1929 med Abraham som styrelseordförande.
Året 1929 markerade också början på företagets strävan att etablera sig utanför Ohio med öppnandet av en restaurang i Detroit, Michigan, och en i Pittsburgh, Pennsylvania. Efter Abrahams död 1936 fortsatte företaget sitt expansionsprogram genom att öppna sin första restaurang i New York City och inledde så småningom ett program för diversifiering genom att gå in i branschen för frysta livsmedel 1946. År 1960 köpte företaget, som 1956 formellt bytt namn till Stouffer Foods Corporation, sitt första hotell, Anacapri Inn i Fort Lauderdale, Florida, och i slutet av samma år bestod företaget av tre avdelningar: Stouffer Foods Corporation, Stouffer Hotels Corporation och Stouffer Restaurants Corporation. År 1961 öppnade Stouffer’s två kortlivade automatiska automatrestauranger. 1961 tog Stouffer’s över detta restaurangkomplex med gemensamt kök (Plaza Pavilion). År 1962 var Stouffer’s Disneyland värd för Plaza Pavilion, Tahitian Terrace och French Market Restaurant. År 1967 köptes Stouffer Corporation av Litton Industries för vertikal integration, då det företaget hade en stor andel av marknaden för mikrovågsugnar, men 1973 sålde Litton Stouffer till Nestlé. År 1993 tillkännagav Nestlé sin avsikt att sälja Stouffer Hotels till New World Development Co Ltd, som då ägde varumärkena Renaissance & Ramada Hotel (varumärket Stouffer Hotel lades ner i slutet av 1996) som en del av en omorientering av företaget mot livsmedelsprodukter. Transaktionen var slutförd 1996. Vissa Stouffer’s-restauranger är numera Select Restaurants.