“五芳斋”得名于清道光年间，创始人姓沈，系吴县陆墓采莲（今相城区元和镇开发区）人。
起初沈氏在齐门外开了一家甜食铺，以玫瑰、桂花、莲心、薄荷、芝麻等五种苏州人爱吃的东西作为原料，制作桂花圆子、赤豆糖粥焐酥豆、莲心羹、冰雪酥、玫瑰糕等甜食小吃。
沈氏膝下生有五个女儿，分别取名玫芳、桂芳、莲芳、荷芳和芝芳，恰好和店里常用的原料在字面上有相通之处，街坊邻居就开玩笑地称他的店叫"五芳斋"。沈氏老板干脆将错就错，正式将店铺取名"五芳斋"。这就是五芳斋名字的由来。
“五芳斋”粽子于1921年问世。当时以弹棉花为业的浙江兰溪人张锦泉先生，在春夏季弹棉花生意清淡之时，于嘉兴北大街孩儿桥堍设摊卖粽子。
他的粽子外形较为别致，沿用了兰溪一带四角交叉立体长方枕头形，加上选料、制作考究，风味独特，招徕了很多顾客。
十多年后，张先生召集了几名兰溪老乡，在嘉兴当时热闹在张家弄口，租间门面开了"荣记五芳斋"粽子店，经营火腿鸡肉粽、重油夹沙粽。
事隔数年，嘉兴人冯昌年、朱庆堂两人在这家店对面和隔壁也开设了"合记"和"庆记"两家五芳斋。
三家呈品字形分布的“五芳斋”粽子店，一时成了嘉兴这座江南古城的独特风景。且说三位五芳斋的老板都夸耀自己是老牌，各自在用料、配方、包裹、烧煮等方面动足脑筋，做起了"粽子经"。
如此激烈的竞争，促使粽子选料日益考究，配制方案日趋完善，口味日趋精美，嘉兴张家弄"五芳斋"由此声誉鹊起，驰名江南。