段家祖籍江西饶州（今江西波阳），明朝末年迁来安徽，起先在英山县落户，后来迁至寿县，又迁六安县太平集以北三里。伯父段祺瑞于清同治四年二月初九（1865年3月6日）出生于六安祖居，后数年始随家迁至合肥乡间。