1964年，文化部领导班子调整，原部长茅盾不再担任。谁来担任部长，上级只好先让中宣部部长陆定一兼任，并打算从军队调几个人来。
文化部虽然管理文艺工作，文人担任看似“对口”，实际上在工作中遇到的问题很多，如方针、政策等，把握不好就会出现问题。上级曾经对他说：文化部工作这些年来一直没搞好，责任不在你，知道你一开始就不愿当这个部长，提到过辞职，因为没有合适的人接替，如今让你卸下这副担子。
谁来担任新部长，只能由陆定一兼任。此时的陆定一不仅仅中宣部部长，这一年被选为书记处书记，副总理。如今再兼任部长，身兼数职。
此时，上级打从部队选几位干部到文化部工作。从部队挑选干部到文化部有一个背景。
1964年，上级提出“全国学习解放军”，国家部委机关设立政治部，不少军队干部转入地方，加强地方政治工作领导。
在这样的号召下，陆定一推荐南京军区政委萧望东到文化部工作。
说到南京军区，1963年政委设置7位，分别是柯庆施、唐亮、江渭清、萧望东、江华、李葆华、杜平。其中，柯庆施、江渭清、江华、李葆华是挂职，他们都是各省市一把手。专职军队工作只有三人。唐亮此时的身体不好，已经不能主持日常工作，1964年离休。在离休前，很多工作由萧望东处理，杜平兼任政治部主任，职责在政治部。
在陆定一的建议下，萧望东调去文化部担任副部长，军区正职工作交给杜平负责。
萧望东在战争年代长期从事具体政治实现工作，长期担任政治部主任，对如何加强和执行是很有经验的。上级也说到，完全由当兵的人来管文化工作怕也不行，从其他地方调人过来，让加强文化部多元化领导。
1965年，萧望东离开部队，到文化部任职；又调武汉军区政治部主任颜金生担任文化部副部长兼政治部主任；也从上海调来石西民担任副部长。石西民是文化人出身，担任过上海宣传部部长、市委书记，长期负责文化领域工作，这一方面有经验。
因为陆定一兼职很多，工作很忙，负责抓教育、文化、卫生等。文化部的很多工作由萧望东具体负责，1966年，萧望东代理部长。也在这一年受到冲击而中断工作。
1975年，萧望东才恢复工作，重返部队担任济南军区政委，到1982年退居二线。
对于萧望东中途受到冲击，陆定一晚年再见他时也表达歉意，如果没有他的推荐，萧望东也不会来文化部，导致多年没有工作。
