Het familiebedrijf Stouffer vindt zijn oorsprong in 1898, toen James B. Stouffer en zijn zoon Abraham E. Stouffer de Cottage Creamery Co. begonnen op de Sheriff Street Market in Cleveland. In 1901 werd James’ zoon Abraham E. Stouffer, 26 jaar oud, vice-president van het bedrijf.
In 1905 richtte de familie Stouffer de Medina County Creamery Company op in Medina, Ohio, met $20.000 aan aandelenkapitaal.
James B. Stouffer overleed op 23 november 1908 op 62-jarige leeftijd in Orlando, Orange County, Florida, en Abraham nam de leiding van het bedrijf over.
Op 11 januari 1912 diende The Medina County Creamery Company een adreswijziging in naar Cleveland. In 1914 was het bedrijf uitgebreid en opende het een filiaal van The Medina County Creamery Company in Detroit, Michigan. In deze periode was de zuivelfabriek de grootste fabrikant en groothandelaar van zuivelproducten in de stad Cleveland met meer dan 1.500 boeren die leverden aan Stouffer’s Medina County Creamery Co.
In het begin van 1920 trok Stouffer’s lucratieve zuivelfabriek de aandacht van The Fairmont Creamery, nu Fairmont Foods, het grootste zuivelfabriek in de Verenigde Staten. In december 1920 kondigde Abraham Stouffer aan dat zijn bedrijf, The Medina County Creamery Co. van 2171 East 4th Street, Cleveland Ohio zou fuseren met Fairmont Creamery Co. van Omaha, Nebraska door aandelenbezit. Abraham E. Stouffer zou deel blijven uitmaken van de fusie en tot 1922 toezicht houden op de fabriek in Cleveland.
In 1922 nam Abraham E. Stouffer een van de melkstalletjes over die eigendom waren van zijn zuivelbedrijf. De melk-, karnemelk- en broodjeszaak was in het zuidwesten van de Cleveland Arcade (benedenverdieping) en veranderde het in een restaurant met zijn vrouw Lena Mahala Bigelow. Het Stouffer Lunch System was een idee dat Abraham had in de jaren voordat hij de Media County Creamery Co. in 1920 verkocht. De Stouffers veranderden het bedrijf in een restaurant waar karnemelk, sandwiches en Lena Stouffer’s zelfgemaakte appeltaart werden geserveerd (door sommigen genoemd als de reden voor het bijna onmiddellijke succes van het restaurant). Ze openden het eerste restaurant, genaamd de Stouffer Lunch, in 1924. Naarmate de tijd verstreek, zette het echtpaar het uitbreidingsprogramma voort met de hulp van hun zonen Vernon, een afgestudeerde aan de Wharton School of Finance, en Gordon, die samen de reorganisatie van het bedrijf leidden en het naar de beurs brachten als de Stouffer Corporation in 1929 met Abraham als voorzitter van de raad van bestuur.
Het jaar 1929 markeerde ook het begin van de pogingen van het bedrijf om locaties buiten Ohio te vestigen met de opening van een restaurant in Detroit, Michigan, en een in Pittsburgh, Pennsylvania. Na Abrahams dood in 1936 zette het bedrijf zijn expansieprogramma voort met de opening van zijn eerste restaurant in New York City en begon uiteindelijk aan een diversificatieprogramma, waarbij het in 1946 in de diepvriesbusiness stapte. In 1960 kocht het bedrijf, dat in 1956 formeel werd omgedoopt tot Stouffer Foods Corporation, haar eerste hotel, de Anacapri Inn in Fort Lauderdale, Florida, en aan het eind van dat jaar bestond het bedrijf uit drie divisies: Stouffer Foods Corporation, Stouffer Hotels Corporation, en Stouffer Restaurants Corporation. In 1961 opende Stouffer’s twee kortstondige geautomatiseerde vending restaurants.Stouffer’s nam dit complex van restaurants met de gedeelde keuken (Plaza Pavilion) over. In 1962 nam Stouffer’s Disneyland Plaza Pavilion, Tahitian Terrace, en French Market Restaurant over. In 1967 werd Stouffer Corporation gekocht door Litton Industries voor verticale integratie doeleinden, toen dat bedrijf een groot aandeel had in de markt voor magnetronovens, maar in 1973 verkocht Litton Stouffer aan Nestlé. In 1993 kondigde Nestlé haar voornemen aan om Stouffer Hotels te verkopen aan New World Development Co Ltd, die op dat moment Renaissance & Ramada Hotel merken bezat (Het Stouffer Hotel merk werd teruggetrokken aan het eind van 1996) als onderdeel van een heroriëntatie van het bedrijf op voedingsmiddelen. De transactie was voltooid in 1996. Sommige Stouffer’s Restaurants zijn nu Select Restaurants.