“文革”伊始，这位德高望重的人就陷入了非人的境地。批评会无数，历史馆的厕所每天都要打扫。1969年，他被送到雨天、泥泞的湖北省咸宁干部学校接受劳动改造。“移居”咸宁后，无组织隶属关系，先后六次搬迁。他从区委昏暗的阁楼搬到了小学的泥房教室，又被送到了偏远的乡村医疗所。他的日常工作是看守菜园和放猪。当时他已经六十七岁了并患有心脏病、高血压等疾病。

不过他不在乎。盛夏，荷花竞相开放，亭亭玉立。他写信给表弟黄永玉：“风雨中房子被淹了，我在屋里撑着伞，很好玩！”泥是泥，荷花却就在眼前。”三言两语，让那些艰难的日子充满了荷花的芬芳。

他就是文豪沉从文，在干校的那几年，他仅凭记忆为巨著《中国古代服饰研究》撰写了补充材料，期间还作诗、散文、写信，做了很多“文学的事”，使其成为忙碌的一天。