大行宫位于南京市主城中心地带，因此区域为清康熙，乾隆南巡时在江宁府的行宫而得名。康熙帝六下江南时，四次居住在当年的江宁织造府，因此就把江宁织造府所在地称为大行宫。

清代的大行宫的位置为东到龙蟠中路，西到碑亭巷，南到棉井巷、科巷、仁孝里，北到长江后街（一说到珠江路），长宽都是1公里范围的方框内。如今一般所指的大行宫的位置在今中山东路和太平南路、太平北路交叉十字路口为圆心周围五百米至八百米为半径画的圆形图案的范围。