A Stouffer családi vállalkozás gyökerei 1898-ig nyúlnak vissza, amikor James B. Stouffer és fia, Abraham E. Stouffer megalapították a Cottage Creamery Co. vállalatot a clevelandi Sheriff Street Marketben. 1901-ben James fia, Abraham E. Stouffer 26 évesen a vállalat alelnöke lett.
1905-ben a Stouffer család megalapította és bejegyezte a Medina County Creamery Company-t az ohiói Medinában, 20 000 dolláros alaptőkével.
James B. Stouffer 1908. november 23-án 62 éves korában meghalt a floridai Orange megyei Orlandóban, és Abraham vette át a vállalat vezetését.
1912. január 11-én a The Medina County Creamery Company bejelentette, hogy Clevelandre változtatta a címét. 1914-ben a vállalat terjeszkedett, és megnyitotta a The Medina County Creamery Company detroiti, michigani fiókját. Ebben az időszakban a tejüzem volt Cleveland városának legnagyobb tejtermék gyártója és nagykereskedője, több mint 1500 farmer látta el a Stouffer’s Medina County Creamery Co.
1920 elején a Stouffer jövedelmező tejüzemére felfigyelt a The Fairmont Creamery, a mai Fairmont Foods, az Egyesült Államok legnagyobb tejipari vállalata. 1920 decemberében Abraham Stouffer bejelentette, hogy cége, a The Medina County Creamery Co. of 2171 East 4th Street, Cleveland Ohio, részvénytulajdon révén egyesül az Omaha, Nebraska állambeli Fairmont Creamery Co.-val. Abraham E. Stouffer az egyesülés részeként folytatja, és 1922-ig felügyeli a clevelandi üzemet.
1922-ben Abraham E. Stouffer átvette a tejipari vállalatához tartozó egyik tejboltot. A tej-, író- és szendvicsbolt a Cleveland Arcade délnyugati részén (alsó szint) volt, és feleségével, Lena Mahala Bigelow-val éttermet csinált belőle. A Stouffer Lunch System Abraham ötlete volt a Media County Creamery Co. 1920-as eladása előtti években. Stoufferék étteremmé alakították át az üzemet, ahol írót, szendvicseket és Lena Stouffer házi készítésű holland almás pitéjét szolgálták fel (egyesek szerint ez volt az oka az étterem szinte azonnali sikerének). Az első éttermet Stouffer Lunch néven 1924-ben nyitották meg. Az idő múlásával a házaspár folytatta a terjeszkedési programot fiaik, Vernon, aki a Wharton School of Finance-on végzett, és Gordon segítségével, akik együtt vezették az üzlet átszervezését, és 1929-ben Stouffer Corporation néven vezették be a tőzsdére, ahol Abraham lett az igazgatótanács elnöke.
Az 1929-es év egyben a vállalat azon törekvésének kezdetét is jelentette, hogy az Ohio államon kívüli helyszíneket is létrehozzon: egy étterem nyílt Detroitban (Michigan) és egy Pittsburghben (Pennsylvania). Abraham 1936-ban bekövetkezett halála után a vállalat folytatta terjeszkedési programját az első New York-i étterem megnyitásával, majd végül diverzifikációs programba kezdett, és 1946-ban belépett a fagyasztott élelmiszerek üzletágába. 1960-ban a vállalat, amelynek hivatalos neve 1956-ban Stouffer Foods Corporation lett, megvásárolta első szállodáját, a floridai Fort Lauderdale-ben található Anacapri Innt, és az év végére a vállalat három részlegből állt: Stouffer Foods Corporation, Stouffer Hotels Corporation és Stouffer Restaurants Corporation. 1961-ben a Stouffer’s két rövid életű automata automata éttermet nyitott. 1961-ben a Stouffer’s átvette ezt a közös konyhával rendelkező étteremkomplexumot (Plaza Pavilion). 1962-ben a Stouffer’s Disneylandben működött a Plaza Pavilion, a Tahitian Terrace és a French Market étterem. 1967-ben a Stouffer Corporationt a Litton Industries vásárolta meg vertikális integráció céljából, amikor ez a vállalat nagy részesedéssel rendelkezett a mikrohullámú sütők piacán, de 1973-ban a Litton eladta a Stouffert a Nestlének. 1993-ban a Nestlé bejelentette a Stouffer Hotels eladási szándékát a New World Development Co Ltd-nek, amely akkoriban a Renaissance & Ramada Hotel márkák tulajdonosa volt (a Stouffer Hotel márkát 1996 végén nyugdíjazták), a vállalat élelmiszeripari termékekre való újbóli összpontosításának részeként. A tranzakció 1996-ra befejeződött. Néhány Stouffer’s étterem ma már Select Restaurants.