1977年4月10日，姚文元进了秦城。
他在秦城住了将近20年。1996年10月6日，他获得了自由，走出了秦城。这一年，他65岁。
他走出秦城后，得到一个噩耗，他的妻子金英已经去世一个多月了。没有来得及见妻子最后一面，他为此感到十分内疚，泪流满面的他来到墓地，在妻子的墓碑上刻上了自己所做的撰词《蝶恋花》，正面刻着四个金字“真理真情”，以表达自己的愧疚和思念。
他获得自由后，先是在上海浦东新区一所普通民宅里居住。后来，他来到浙江湖州定居，由他的女儿、女婿负责照顾他的生活。他有三个女：长女叫姚金虹、次女叫姚丽群，小女儿叫姚继红。
姚金虹一直在上海卢湾区生活，是一家普通单位的员工。因生病原因，她长期请病假在家，很少外出。姚丽群是一位残疾人，在上海居住，生活比较贫困。姚继红在一个普通单位工作，一直过着普通人的生活。
在晚年时期，姚文元最大的兴趣是研究历史、看书、读报、写作。他的卧室里有个大书柜，里面放满了书。他平时不怎么出门，在家里专心读书、写回忆录。他的回忆录从1956年写到1976年为止，共计约42万字。之后，他又写了一部五万多字的《回顾与反思》。
在晚年时期，他说自己在有生之年有两个愿望：第一个愿望是希望能出版自己的回忆录；第二个愿望是希望能重新入党。
关于出版回忆录一事，国内（内地）有二十多家出版社曾与他联系，中国香港也有几家出版社开出500万元人民币要买断版权。但是，他的回忆录要发行出版的话，必须得到有关部门的审核批准，当他把回忆录送审申请提交后，却一直无下文。后来，有首长对此作出批示：不宜出版；生活有困难，可提高补助。
他的另一个愿望“重新入党”一事，直到他去世时也没有得到批准。
他的这两个愿望，最后都没有实现。
他在湖州定居期间，有关部门十分关心他的生活状况，给他每月4000元人民币的养老费（养老金），还请了一名助理员专门照顾他。
2005年12月23日，他因病去世，终年74岁。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
