兵期间，按照清政府全国一盘棋的调度方针，战事后方的地方与部门，有为前线筹集战饷的义务。江西巡抚不是没筹集，一是筹朝不力，二是筹集之后，总找机会又克扣回去。此举，是地方与部门的本土主义思想作梗，地方保护观念作崇。原本在江西战场，朝庭既要马儿跑得快，又不给马儿吃草，既要曾国藩打胜仗，又不给调动兵权，弄得他左支右绌，满肚子怨气。地方官吏却又以私情乡利，误国事害公众，曾国藩便撕破脸皮，给朝庭参了一本，将巡抚大人拉下马。
&;&;谢兴潘在征税与缴粮方面给予全力配合，经曾国藩极力举荐，受到朝廷嘉奖，得到慈禧太后的接见与重用，先后出任江西萍乡和九江两地知府。谢兴潘在当地建学堂设书院，修沿江公堤。张之洞在汉阳留存“张公堤”，他则在九江留存“谢公堤”。曾国藩治乱推行重典，时人谓之“曾剃头”，他治匪实施重罚，也被当地乡民戏谑为“谢剃头”。
&;&;俗话说，三年清知县，十万雪花银。谢兴潘在江西为官三十余载，顶着“四品朝议大夫”的荣誉称号，辞官回乡。车马载金驼银而归，解甲归田后，他就用积蓄将祖屋翻修改建成大夫第。大夫第全名叫“芋园”，占地万余平方米，建筑面积约3600平方米，有起居室78间，厅房40间，还有家祠，学堂，药房，戏台，绣楼，亭阁，房屋两侧配套厨房，碾房，柴房，佣人房，杂役间。
&;&;五进十二间的大夫第，依山而建，伴水而修，座北朝南，三面环水，整个布局
大夫第(4/7)