Das Familienunternehmen Stouffer hat seine Wurzeln im Jahr 1898, als James B. Stouffer und sein Sohn Abraham E. Stouffer die Cottage Creamery Co. am Sheriff Street Market in Cleveland gründeten. Im Jahr 1901 wurde James‘ Sohn Abraham E. Stouffer im Alter von 26 Jahren Vizepräsident des Unternehmens.
Im Jahr 1905 gründete die Familie Stouffer die Medina County Creamery Company in Medina, Ohio, mit einem Grundkapital von 20.000 Dollar.
James B. Stouffer starb am 23. November 1908 im Alter von 62 Jahren in Orlando, Orange County, Florida, und Abraham übernahm die Leitung des Unternehmens.
Am 11. Januar 1912 meldete die Medina County Creamery Company eine Adressänderung nach Cleveland an. Im Jahr 1914 expandierte das Unternehmen und eröffnete die Niederlassung The Medina County Creamery Company in Detroit, Michigan. Zu dieser Zeit war die Molkerei der größte Hersteller und Großhändler von Molkereiprodukten in der Stadt Cleveland mit über 1.500 Landwirten, die Stouffer’s Medina County Creamery Co. belieferten.
Anfang 1920 wurde die Fairmont Creamery, jetzt Fairmont Foods, das größte Molkereiunternehmen der Vereinigten Staaten, auf Stouffers lukrative Molkerei aufmerksam. Im Dezember 1920 kündigte Abraham Stouffer an, dass sein Unternehmen, die Medina County Creamery Co. in 2171 East 4th Street, Cleveland Ohio, mit der Fairmont Creamery Co. in Omaha, Nebraska, fusionieren würde. Abraham E. Stouffer blieb Teil der Fusion und leitete das Werk in Cleveland bis 1922.
Im Jahr 1922 übernahm Abraham E. Stouffer einen der Milchstände, die seiner Molkerei gehörten. Der Milch-, Buttermilch- und Sandwich-Laden befand sich im Südwesten der Cleveland Arcade (Untergeschoss) und wurde von seiner Frau Lena Mahala Bigelow in ein Restaurant umgewandelt. Das Stouffer Lunch System war eine Idee, die Abraham in den Jahren vor dem Verkauf der Media County Creamery Co. im Jahr 1920 hatte. Die Stouffers wandelten den Betrieb in ein Restaurant um, in dem Buttermilch, Sandwiches und Lena Stouffers hausgemachter holländischer Apfelkuchen serviert wurden (was von einigen als Grund für den fast sofortigen Erfolg des Restaurants angesehen wird). Das erste Restaurant mit dem Namen Stouffer Lunch eröffneten sie 1924. Im Laufe der Zeit setzte das Ehepaar das Expansionsprogramm mit Hilfe seiner Söhne Vernon, einem Absolventen der Wharton School of Finance, und Gordon fort, die gemeinsam die Reorganisation des Unternehmens leiteten und es 1929 unter dem Namen Stouffer Corporation an die Börse brachten, mit Abraham als Vorstandsvorsitzendem.
Das Jahr 1929 markierte auch den Beginn der Bemühungen des Unternehmens, Standorte außerhalb von Ohio zu etablieren, mit der Eröffnung eines Restaurants in Detroit, Michigan, und eines in Pittsburgh, Pennsylvania. Nach Abrahams Tod im Jahr 1936 setzte das Unternehmen sein Expansionsprogramm fort und eröffnete sein erstes Restaurant in New York City. 1946 begann das Unternehmen mit einem Diversifizierungsprogramm und stieg in das Geschäft mit Tiefkühlkost ein. Im Jahr 1960 kaufte das Unternehmen, das 1956 offiziell in Stouffer Foods Corporation umbenannt wurde, sein erstes Hotel, das Anacapri Inn in Fort Lauderdale, Florida, und Ende desselben Jahres bestand das Unternehmen aus drei Abteilungen: Stouffer Foods Corporation, Stouffer Hotels Corporation und Stouffer Restaurants Corporation. 1961 eröffnete Stouffer’s zwei kurzlebige Automatenrestaurants und übernahm den Restaurantkomplex mit der Gemeinschaftsküche (Plaza Pavilion). Im Jahr 1962 beherbergte Stouffer’s Disneyland den Plaza Pavilion, die Tahitian Terrace und das French Market Restaurant. 1967 wurde die Stouffer Corporation von Litton Industries zum Zwecke der vertikalen Integration aufgekauft, als dieses Unternehmen einen großen Anteil am Markt für Mikrowellenherde hatte, aber 1973 verkaufte Litton Stouffer an Nestlé. 1993 gab Nestlé seine Absicht bekannt, Stouffer Hotels an die New World Development Co Ltd zu verkaufen, die damals die Marken Renaissance & und Ramada Hotel besaß (die Marke Stouffer Hotel wurde Ende 1996 aufgegeben), und zwar im Rahmen einer Neuausrichtung des Unternehmens auf Nahrungsmittel. Die Transaktion war bis 1996 abgeschlossen. Einige Stouffer’s-Restaurants sind jetzt Select-Restaurants.