淮南牛肉汤是伴随着淮河水运的繁荣发展起来的，并逐渐成为淮上人必吃的一道名食，至今已有100多年的历史。
清光绪年间，在田家庵淮河边的码头，货船川流不息，人群熙攘，热闹非凡。一家姓马的师傅支锅宰牛，以牛骨、牛杂、牛肉入锅，辅以佐料制成汤汁，卖给过往行人，生意日渐红火。至民国38年（1949年），牛肉汤经营户已发展至五六家。
另有传说，清乾隆年间，淮南人翰林大学士张攻深研百草，擅长美食，曾任宫廷御膳高官，深得皇上厚爱。告老还乡，回到山清水秀的淮河岸边，将宫廷淮南牛肉汤秘方传给后人。很快淮南牛肉汤以它特有的风味名传淮河两岸，大江南北，百吃不厌。