O negócio da família Stouffer tem as suas raízes em 1898, quando James B. Stouffer e o seu filho Abraham E. Stouffer fundaram a Cottage Creamery Co. no Sheriff Street Market em Cleveland. Em 1901, o filho de James Abraham E. Stouffer, aos 26 anos, tornou-se vice-presidente da empresa.
Em 1905, a família Stouffer estabeleceu e incorporou a Medina County Creamery Company em Medina, Ohio, com $20.000 em capital social.
James B. Stouffer morreu em 23 de novembro de 1908 aos 62 anos de idade em Orlando, Orange County, Florida, e Abraham assumiu a administração da empresa.
Em 11 de janeiro de 1912, a Medina County Creamery Company registrou uma mudança de endereço para Cleveland. Em 1914, a empresa havia expandido e aberto a filial da The Medina County Creamery Company em Detroit, Michigan. Nesse período, a cremaria era a maior fabricante e atacadista de produtos cremosos da cidade de Cleveland, com mais de 1.500 fazendeiros fornecendo a Stouffer’s Medina County Creamery Co.
No início de 1920, a lucrativa cremaria Stouffer chamou a atenção da The Fairmont Creamery, agora Fairmont Foods, a maior empresa de cremes dos Estados Unidos. Em dezembro de 1920, Abraham Stouffer anunciou que sua empresa, The Medina County Creamery Co. of 2171 East 4th Street, Cleveland Ohio se fundiria com a Fairmont Creamery Co. de Omaha, Nebraska, através da posse de ações. Abraham E. Stouffer continuaria como parte da fusão e supervisionaria a fábrica de Cleveland até 1922.
Em 1922, Abraham E. Stouffer assumiu uma das bancas de leite de sua empresa leiteira. A loja de leite, leitelho e sanduíche estava no sudoeste da Cleveland Arcade (nível inferior) e a transformou em um restaurante com sua esposa Lena Mahala Bigelow. O Stouffer Lunch System foi uma idéia que Abraham teve nos anos anteriores à venda da Media County Creamery Co. em 1920. Os Stouffers converteram a operação em um restaurante que servia leitelho, sanduíches e a torta de maçã holandesa caseira de Lena Stouffer (creditada por alguns como a razão para o sucesso quase instantâneo do restaurante). Eles abriram o primeiro restaurante, chamado Stouffer Lunch, em 1924. Com o passar do tempo, o casal continuou o programa de expansão com a ajuda de seus filhos Vernon, um graduado da Wharton School of Finance, e Gordon, que juntos lideraram a reorganização do negócio, tornando-o público como Stouffer Corporation em 1929, com Abraham como presidente do conselho.
O ano de 1929 também marcou o início do esforço da empresa para estabelecer locais fora de Ohio com a abertura de um restaurante em Detroit, Michigan, e um em Pittsburgh, Pennsylvania. Após a morte de Abraham em 1936, a empresa continuou seu programa de expansão, abrindo seu primeiro restaurante na cidade de Nova York e eventualmente iniciou um programa de diversificação, entrando no ramo de congelados em 1946. Em 1960, a empresa, formalmente rebaptizada Stouffer Foods Corporation em 1956, adquiriu seu primeiro hotel, o Anacapri Inn de Fort Lauderdale, Flórida, e, no final daquele ano, a empresa era composta por três divisões: Stouffer Foods Corporation, Stouffer Hotels Corporation, e Stouffer Restaurants Corporation. Em 1961, a Stouffer’s abriu dois restaurantes de venda automática de curta duração. A Stouffer’s assumiu este complexo de restaurantes com a cozinha compartilhada (Plaza Pavilion). Em 1962, a Stouffer’s Disneyland recebeu o Plaza Pavilion, o Tahitian Terrace, e o French Market Restaurant. Em 1967, a Stouffer Corporation foi comprada pela Litton Industries para fins de integração vertical, quando essa empresa tinha uma grande quota do mercado de fornos microondas, mas em 1973, a Litton vendeu a Stouffer à Nestlé. Em 1993, a Nestlé anunciou sua intenção de vender a Stouffer Hotels à New World Development Co Ltd, que na época era proprietária das marcas Renaissance & Ramada Hotel (A marca Stouffer Hotel foi aposentada no final de 1996) como parte de uma reorientação da empresa para produtos alimentícios. A transação foi concluída em 1996. Alguns Restaurantes Stouffer’s são agora Select Restaurants.