L’entreprise familiale Stouffer trouve ses racines en 1898, lorsque James B. Stouffer et son fils Abraham E. Stouffer ont créé la Cottage Creamery Co. au marché de la rue Sheriff à Cleveland. En 1901, le fils de James, Abraham E. Stouffer, à l’âge de 26 ans, est devenu vice-président de la société.
En 1905, la famille Stouffer a établi et incorporé la Medina County Creamery Company à Medina, Ohio, avec 20 000 $ de capital social.
James B. Stouffer décède le 23 novembre 1908 à l’âge de 62 ans à Orlando, dans le comté d’Orange, en Floride, et Abraham reprend la direction de l’entreprise.
Le 11 janvier 1912, The Medina County Creamery Company dépose un changement d’adresse à Cleveland. En 1914, la société s’était agrandie et avait ouvert la succursale de The Medina County Creamery Company à Détroit, dans le Michigan. À cette époque, la crémerie était le plus grand fabricant et grossiste de produits crémiers de la ville de Cleveland, avec plus de 1 500 agriculteurs fournissant la Medina County Creamery Co.
Au début de 1920, la lucrative crémerie de Stouffer attira l’attention de The Fairmont Creamery, aujourd’hui Fairmont Foods, la plus grande entreprise de crémerie des États-Unis. En décembre 1920, Abraham Stouffer annonce que sa société, The Medina County Creamery Co., 2171 East 4th Street, Cleveland, Ohio, fusionne avec Fairmont Creamery Co. d’Omaha, Nebraska, par le biais de l’actionnariat. Abraham E. Stouffer continuerait à faire partie de la fusion et superviserait l’usine de Cleveland jusqu’en 1922.
En 1922, Abraham E. Stouffer a repris l’un des stands de lait appartenant à sa société laitière. Le magasin de lait, de babeurre et de sandwiches se trouvait au sud-ouest de l’Arcade de Cleveland (niveau inférieur) et l’a transformé en restaurant avec sa femme Lena Mahala Bigelow. Le Stouffer Lunch System était une idée qu’Abraham avait eue dans les années précédant la vente de la Media County Creamery Co. en 1920. Les Stouffer ont transformé l’exploitation en un restaurant qui servait du babeurre, des sandwiches et la tarte aux pommes hollandaise faite maison de Lena Stouffer (que certains considèrent comme la raison du succès presque instantané du restaurant). Ils ont ouvert le premier restaurant, appelé le Stouffer Lunch, en 1924. Au fil du temps, le couple a poursuivi le programme d’expansion avec l’aide de leurs fils Vernon, diplômé de la Wharton School of Finance, et Gordon, qui ont mené ensemble la réorganisation de l’entreprise, la rendant publique sous le nom de Stouffer Corporation en 1929, Abraham étant président du conseil d’administration.
L’année 1929 a également marqué le début des efforts de l’entreprise pour s’implanter en dehors de l’Ohio avec l’ouverture d’un restaurant à Détroit, dans le Michigan, et d’un autre à Pittsburgh, en Pennsylvanie. Après la mort d’Abraham en 1936, la société a poursuivi son programme d’expansion en ouvrant son premier restaurant à New York et a finalement entamé un programme de diversification en entrant dans le secteur des aliments surgelés en 1946. En 1960, la société, officiellement rebaptisée Stouffer Foods Corporation en 1956, a acheté son premier hôtel, l’Anacapri Inn de Fort Lauderdale, en Floride, et, à la fin de cette année-là, la société était composée de trois divisions : Stouffer Foods Corporation, Stouffer Hotels Corporation et Stouffer Restaurants Corporation. En 1961, Stouffer’s ouvre deux restaurants à distributeurs automatiques éphémères, puis reprend ce complexe de restaurants à cuisine partagée (Plaza Pavilion). En 1962, Stouffer’s Disneyland accueille le Plaza Pavilion, la Tahitian Terrace et le French Market Restaurant. En 1967, Stouffer Corporation a été rachetée par Litton Industries à des fins d’intégration verticale, lorsque cette société détenait une part importante du marché des fours à micro-ondes, mais en 1973, Litton a vendu Stouffer à Nestlé. En 1993, Nestlé a annoncé son intention de vendre les hôtels Stouffer à New World Development Co Ltd qui, à l’époque, possédait les marques d’hôtels Renaissance & Ramada (la marque Stouffer Hotel a été retirée à la fin de 1996) dans le cadre d’un recentrage de la société sur les produits alimentaires. La transaction a été achevée en 1996. Certains restaurants Stouffer’s sont maintenant des restaurants Select.