据史记记载：北京中药四大家中，同仁堂以制作宫廷御药闻名，但要说谁家的中药饮片齐全，那还得数千芝堂拔尖。所以北京人有句老话：到同仁堂拿方子，到千芝堂抓药。
千芝堂的名字来自一个传说。从前有家人跑丢了一只羊，羊误打误撞进到了一个山洞，在里面碰上了一只生长千年，能通言语的灵芝，灵芝告诉羊说：你我相遇即是缘，请把我献给你家主人，我保他长生不老。就这样，羊把灵芝交予主人服下后，主人果然得道成仙。千芝堂的名字，意思就是店里有千万株这样的灵药，大病小情都不在话下，来这儿的客人满意而归。而它的发迹，也的确和灵芝等名贵药材有关。
千芝堂早在明朝万历年间就已经有了，但几百年的过去了，生意一直平平。直到清光绪年间，店面实在难以维持，只得转手他人。祸不单行，新主人接手这摊子麻烦没多久，就赶上了“庚子事变”。八国联军一进京，慌得京城大小财主赶紧把家藏的名贵药材卖给药铺，换些银两以备随时逃命或应急。千芝堂抓准这个机会，以低价购进了大量人参、鹿茸、灵芝等高级药材。等到乱子一过，千芝堂又将药材在市面高价售出，结果一下子发了笔大财。