Firma rodzinna Stoufferów ma swoje korzenie w 1898 r., kiedy James B. Stouffer i jego syn Abraham E. Stouffer założyli Cottage Creamery Co. na Sheriff Street Market w Cleveland. W 1901 roku, syn Jamesa, Abraham E. Stouffer, w wieku 26 lat, został wiceprezesem firmy.
W 1905 roku, rodzina Stouffer założyła i włączyła Medina County Creamery Company w Medina, Ohio, z 20.000 dolarów w kapitale akcyjnym.
James B. Stouffer zmarł 23 listopada 1908 roku w wieku 62 lat w Orlando, Orange County na Florydzie, a Abraham przejął prowadzenie firmy.
11 stycznia 1912 roku Medina County Creamery Company złożyła wniosek o zmianę adresu na Cleveland. W 1914 roku, firma rozszerzyła i otworzyła Medina County Creamery Company Detroit, Michigan oddział. W tym okresie mleczarnia była największym producentem i hurtownikiem produktów kremowych w mieście Cleveland z ponad 1500 rolników dostarczających Stouffer’s Medina County Creamery Co.
Na początku 1920 roku, lukratywna mleczarnia Stouffer’s zwróciła uwagę The Fairmont Creamery, obecnie Fairmont Foods, największej firmy kremowej w Stanach Zjednoczonych. W grudniu 1920 roku Abraham Stouffer ogłosił, że jego firma, The Medina County Creamery Co. z 2171 East 4th Street, Cleveland Ohio połączy się z Fairmont Creamery Co. z Omaha, Nebraska poprzez posiadanie akcji. Abraham E. Stouffer będzie nadal jako część fuzji i nadzorować Cleveland roślin do 1922.
W 1922, Abraham E Stouffer przejął jedną z mlecznych stoisk należących do jego firmy mleczarskiej. Mleko, maślanka i sklep kanapka była w południowo-zachodniej części Cleveland Arcade (dolny poziom) i zamienił go w restauracji z żoną Lena Mahala Bigelow. Stouffer Lunch System był pomysł Abraham miał w latach przed sprzedażą Media County Creamery Co. w 1920 roku. Stoufferowie przekształcili działalność w restaurację, która serwowała maślankę, kanapki i domową szarlotkę holenderską Leny Stouffer (przez niektórych uważaną za przyczynę niemal natychmiastowego sukcesu restauracji). Otworzyli pierwszą restaurację, o nazwie Stouffer Lunch, w 1924 roku. W miarę upływu czasu, para kontynuowała program ekspansji z pomocą swoich synów Vernon, absolwent Wharton School of Finance, i Gordon, którzy razem prowadzili reorganizację firmy, biorąc ją publicznie jako Stouffer Corporation w 1929 roku z Abrahamem jako prezesem zarządu.
Rok 1929 również zaznaczył początek wysiłków firmy do ustanowienia miejsc poza Ohio z otwarciem restauracji w Detroit, Michigan, i jeden w Pittsburghu, Pensylwania. Po śmierci Abrahama w 1936 roku firma kontynuowała swój program ekspansji, otwierając swoją pierwszą restaurację w Nowym Jorku i ostatecznie rozpoczęła program dywersyfikacji, wchodząc do branży mrożonej żywności w 1946 roku. W 1960 roku firma, formalnie przemianowana na Stouffer Foods Corporation w 1956 roku, zakupiła swój pierwszy hotel, Anacapri Inn w Fort Lauderdale na Florydzie, a do końca tego roku firma składała się z trzech oddziałów: Stouffer Foods Corporation, Stouffer Hotels Corporation i Stouffer Restaurants Corporation. W 1961 roku Stouffer’s otworzył dwie krótkotrwałe automatyczne restauracje vendingowe. Stouffer’s przejął ten kompleks restauracji ze wspólną kuchnią (Plaza Pavilion). W 1962 roku Stouffer’s Disneyland gościł Plaza Pavilion, Tahitian Terrace i French Market Restaurant. W 1967 r. Stouffer Corporation została zakupiona przez Litton Industries w celu integracji pionowej, kiedy ta firma miała duży udział w rynku kuchenek mikrofalowych, ale w 1973 r. Litton sprzedał Stouffer do Nestlé. W 1993 r. Nestlé ogłosiło zamiar sprzedaży Stouffer Hotels firmie New World Development Co Ltd, która w tym czasie była właścicielem marek Renaissance & Ramada Hotel (marka Stouffer Hotel została wycofana pod koniec 1996 r.) w ramach ponownego skupienia się firmy na produktach spożywczych. Transakcja została zakończona do 1996 roku. Niektóre restauracje Stouffer’s są teraz Select Restaurants.