虽然百般拉拢他，但他没有动摇，也没有跟风，以自己有肝病为由，一直在家休养或者到一家不起眼的文化事业单位朝九晚五的上班，一开始倒也没遭什么罪。后来，随着文-化-大-革命运动进一步推向深入，他被红卫兵小将拉出来批斗过几回，最后被人家扔进了牛棚里，在房山地区农村一待就是四年多，直到粉碎四-人-帮以后，这才被平反昭雪解放出来；再后来，国家考虑到他是个难得的人才，又把他召回了文-化部，并给了他一个正局级的待遇。
也正是在这一段时间里，彭禹横空出世了，他的作品一部接一部，让人眼花缭乱，目不暇接；杨向辉看了之后，很多次忍不住拍案叫绝，认为彭禹眼光独到，文采出众，是一个难得的罕见的旷世奇才，并经常和执不同意见的同事们争论的面红耳赤。之后，很可能出于这方面的原因，上级领导经过思考和筛选后，决定将他调到《现代先锋》杂志社，担任副社长兼副主编，和彭禹一起搭班子，尽快将杂志社组建起来。
与人为善，工作好干。抱着这种做人宗旨和工作态度，一向低调的彭禹对杨向辉非常客气，只要杨向辉一来自己的办公室，彭禹都会殷勤地亲自端茶倒水，而且口中杨大叔长杨大叔短地叫的非常亲热，这让杨向辉心里感到很受用；投桃报李是人的优良品德，作为洋博士出身的杨向辉自然明白这个道理，所以，在日后的工作中，他和彭禹相得益彰，相互之间以礼相待，关系越处越好。