Stoufferin perheyrityksen juuret ulottuvat vuoteen 1898, jolloin James B. Stouffer ja hänen poikansa Abraham E. Stouffer perustivat Cottage Creamery Co. -yrityksen Sheriff Street Market -markkinapaikalle Clevelandissa. Vuonna 1901 Jamesin pojasta Abraham E. Stoufferista tuli 26-vuotiaana yrityksen varatoimitusjohtaja.
Vuonna 1905 Stoufferin perhe perusti ja rekisteröi Medina County Creamery Companyn Medinaan, Ohion osavaltioon, 20 000 dollarin osakepääomalla.
James B. Stouffer kuoli 23. marraskuuta 1908 62-vuotiaana Orlandossa, Orangen piirikunnassa, Floridassa, ja Abraham otti yhtiön johtamisen hoitaakseen.
Tammikuun 11. päivänä 1912 The Medina County Creamery Company jätti osoitteenmuutoksen Clevelandiin. Vuonna 1914 yritys oli laajentunut ja avasi The Medina County Creamery Companyn Detroitin, Michiganin sivuliikkeen. Tänä aikana meijeri oli Clevelandin kaupungin suurin meijerituotteiden valmistaja ja tukkumyyjä, ja yli 1 500 maanviljelijää toimitti Stouffer’s Medina County Creamery Co:lle.
Vuoden 1920 alussa Stoufferin tuottoisan meijerin huomio kiinnittyi The Fairmont Creameryyn, nykyään Fairmont Foods, joka oli Yhdysvaltojen suurin meijeriyhtiö. Joulukuussa 1920 Abraham Stouffer ilmoitti, että hänen yrityksensä, The Medina County Creamery Co. of 2171 East 4th Street, Cleveland Ohio, sulautuisi Nebraskan Omahassa sijaitsevan Fairmont Creamery Co:n kanssa osakkeiden omistuksen kautta. Abraham E. Stouffer jatkaisi osana fuusiota ja valvoisi Clevelandin tehdasta vuoteen 1922 asti.
Vuonna 1922 Abraham E. Stouffer otti haltuunsa yhden meijeriyrityksensä omistamista maitomyymälöistä. Maito-, kirnupiimä- ja voileipäkauppa sijaitsi Cleveland Arcaden lounaisosassa (alakerrassa) ja muutti sen ravintolaksi vaimonsa Lena Mahala Bigelowin kanssa. Stouffer Lunch System oli Abrahamin idea, joka syntyi ennen Media County Creamery Co:n myyntiä vuonna 1920. Stoufferit muuttivat toiminnan ravintolaksi, jossa tarjoiltiin kirnupiimää, voileipiä ja Lena Stoufferin kotitekoista hollantilaista omenapiirakkaa (joidenkin mukaan se oli syy ravintolan lähes välittömään menestykseen). He avasivat ensimmäisen ravintolan, nimeltään Stouffer Lunch, vuonna 1924. Ajan myötä pariskunta jatkoi laajentumisohjelmaa poikiensa Vernonin, Wharton School of Finance -korkeakoulusta valmistuneen Vernonin ja Gordonin avustuksella, jotka yhdessä johtivat yrityksen uudelleenorganisointia ja veivät sen pörssiin Stouffer Corporation -nimisenä vuonna 1929 Abrahamin toimiessa hallituksen puheenjohtajana.
Vuosi 1929 merkitsi myös yrityksen pyrkimyksen perustaa toimipaikkoja Ohiossa sijaitsevien alueiden ulkopuolelle avaamalla ravintolan Detroitiin, Michiganiin, ja yhden Pittsburghiin, Pennsylvaniaan. Abrahamin kuoleman jälkeen vuonna 1936 yhtiö jatkoi laajentumisohjelmaansa avaamalla ensimmäisen ravintolansa New Yorkiin ja aloitti lopulta monipuolistamisohjelman, jolloin se aloitti pakasteliiketoiminnan vuonna 1946. Vuonna 1960 yritys, jonka virallinen nimi oli muuttunut Stouffer Foods Corporationiksi vuonna 1956, osti ensimmäisen hotellinsa, Anacapri Innin Fort Lauderdalessa, Floridassa, ja saman vuoden loppuun mennessä yritys koostui kolmesta osastosta: Stouffer Foods Corporation, Stouffer Hotels Corporation ja Stouffer Restaurants Corporation. Vuonna 1961 Stouffer’s avasi kaksi lyhytaikaista automaattista automaattiravintolaa. 1961 Stouffer’s otti haltuunsa tämän ravintolakompleksin, jossa oli yhteinen keittiö (Plaza Pavilion). Vuonna 1962 Stouffer’s Disneylandissa toimi Plaza Pavilion, Tahitian Terrace ja French Market Restaurant. Vuonna 1967 Litton Industries osti Stouffer Corporationin vertikaalista integraatiota varten, kun kyseisellä yrityksellä oli suuri osuus mikroaaltouunimarkkinoista, mutta vuonna 1973 Litton myi Stoufferin Nestlelle. Vuonna 1993 Nestlé ilmoitti aikovansa myydä Stouffer-hotellit New World Development Co Ltd:lle, joka tuolloin omisti Renaissance & Ramada-hotellibrändit (Stouffer-hotellibrändi poistettiin käytöstä vuoden 1996 lopussa) osana yrityksen keskittymistä uudelleen elintarviketuotteisiin. Kauppa saatiin päätökseen vuonna 1996. Jotkin Stouffer’s-ravintolat ovat nyt Select-ravintoloita.