来几个族人，这里也怕会守不住，于是大家都打算南迁，往当时的南越国迁徙。南越国与夜郎国数有密切交往，夜郎国被攻打的事情南越国也是有提供一些资助。
当他们一行人大概四十多人长途跋涉到了南越国，打算找了地方安定了下来，不问世事。而南越国也因为帮助夜郎国而受到牵连。其实不用这样，汉军也迟早会吞并南方的南越国，所以就在他们途径南下的时候，南越国也征兵防卫汉朝。
殷隽士他们找到地方临时安定了下来，那时候其实有不少夜郎国的人南下，而南越国也开始处于备战时期，那就意味着会抓人去征兵，于是在一次征兵活动中，由于殷隽士他们找到的居住地方不够隐蔽，被南越国的征兵队发现了行踪，所以他们也被要求入伍。
知道这个消息以后，他们纷纷逃离，一行人且战且退的逃走，这时候忽然下起了滂沱大雨，他们逃跑的泥山突然塌了，一阵天崩地裂的情形，殷隽士到现在都还记得。