将军衙署设于城内中心鼓楼西侧。按一品封疆大吏规格建造，砖木构制，占地面积约三万平方米，共有一百三十二间房屋。清代曾有七十八位将军在此任职，是管辖绥远城驻防八旗、归化城土默特旗，乌兰察布盟、伊克昭盟和节制宣化和大同绿旗兵事务的机构。衙署内有绥远城将军办公复原陈列展览及绥远城八旗驻防历史概览。
将军衙署自建成之日起，一直是清政府统治绥远地区的政治军事中心。而民国初年至解放前机构的频繁更换，也正突出反映了当时国家局势的动荡不安。
将军衙署建筑风格严谨对称，在衙署内，相应地建有隔墙与通道。门前有高大的影壁，上有“屏藩朔漠”匾额，门侧立石狮一对，大门内厅堂凡三进，前为公廨，后为内宅。