El negocio de la familia Stouffer hunde sus raíces en 1898, cuando James B. Stouffer y su hijo Abraham E. Stouffer fundaron la Cottage Creamery Co. en el mercado de la calle Sheriff de Cleveland. En 1901, el hijo de James, Abraham E. Stouffer, a la edad de 26 años, se convirtió en vicepresidente de la empresa.
En 1905, la familia Stouffer estableció e incorporó la Medina County Creamery Company en Medina, Ohio, con 20.000 dólares en capital social.
James B. Stouffer falleció el 23 de noviembre de 1908 a la edad de 62 años en Orlando, Condado de Orange, Florida, y Abraham se hizo cargo de la dirección de la empresa.
El 11 de enero de 1912, The Medina County Creamery Company presentó un cambio de dirección a Cleveland. En 1914, la empresa se expandió y abrió la sucursal de The Medina County Creamery Company en Detroit, Michigan. Para esta época, la cremería era el mayor fabricante y mayorista de productos de cremería de la ciudad de Cleveland, con más de 1.500 granjeros que abastecían a The Medina County Creamery Co.
A principios de 1920, la lucrativa cremería de Stouffer atrajo la atención de The Fairmont Creamery, ahora Fairmont Foods, la mayor empresa de cremería de Estados Unidos. En diciembre de 1920, Abraham Stouffer anunció que su empresa, The Medina County Creamery Co. de 2171 East 4th Street, Cleveland Ohio, se fusionaría con Fairmont Creamery Co. de Omaha, Nebraska, mediante la adquisición de acciones. Abraham E. Stouffer continuaría como parte de la fusión y supervisaría la planta de Cleveland hasta 1922.
En 1922, Abraham E Stouffer se hizo cargo de uno de los puestos de leche que poseía su empresa láctea. La tienda de leche, suero de leche y sándwiches estaba en el suroeste del Cleveland Arcade (nivel inferior) y la convirtió en un restaurante con su esposa Lena Mahala Bigelow. El sistema de comidas Stouffer fue una idea que tuvo Abraham en los años anteriores a la venta de la Media County Creamery Co. en 1920. Los Stoufer convirtieron la operación en un restaurante que servía suero de leche, sándwiches y la tarta de manzana holandesa casera de Lena Stouffer (a la que algunos atribuyen el éxito casi instantáneo del restaurante). Abrieron el primer restaurante, llamado Stouffer Lunch, en 1924. Con el paso del tiempo, la pareja continuó el programa de expansión con la ayuda de sus hijos Vernon, graduado en la Escuela de Finanzas de Wharton, y Gordon, que juntos dirigieron la reorganización del negocio, sacándolo a bolsa como Stouffer Corporation en 1929 con Abraham como presidente del consejo.
El año 1929 también marcó el inicio del esfuerzo de la compañía por establecer locales fuera de Ohio con la apertura de un restaurante en Detroit, Michigan, y otro en Pittsburgh, Pennsylvania. Tras la muerte de Abraham en 1936, la empresa continuó su programa de expansión abriendo su primer restaurante en la ciudad de Nueva York y, finalmente, comenzó un programa de diversificación, entrando en el negocio de los alimentos congelados en 1946. En 1960 la empresa, que pasó a llamarse formalmente Stouffer Foods Corporation en 1956, compró su primer hotel, el Anacapri Inn de Fort Lauderdale, Florida, y, a finales de ese año, la empresa estaba compuesta por tres divisiones: Stouffer Foods Corporation, Stouffer Hotels Corporation y Stouffer Restaurants Corporation. En 1961, Stouffer’s abrió dos restaurantes de venta automática de corta duración.Stouffer’s se hizo cargo de este complejo de restaurantes con cocina compartida (Plaza Pavilion). En 1962, Stouffer’s Disneyland albergó el Plaza Pavilion, la Tahitian Terrace y el French Market Restaurant. En 1967, Stouffer Corporation fue adquirida por Litton Industries con fines de integración vertical, cuando esta empresa tenía una gran cuota de mercado en el sector de los hornos microondas, pero en 1973, Litton vendió Stouffer a Nestlé. En 1993, Nestlé anunció su intención de vender Stouffer Hotels a New World Development Co Ltd, que en ese momento era propietaria de las marcas Renaissance & Ramada Hotel (la marca Stouffer Hotel se retiró a finales de 1996) como parte de una reorientación de la empresa hacia los productos alimentarios. La transacción se completó en 1996. Algunos restaurantes Stouffer’s son ahora restaurantes Select.