1984年，胡耀邦在西藏工作座谈会上再次谈及这一问题时说：“你们无非是第一担心是不是在搞社会主义，或者说害怕不能用和内地一样的模式来搞社会主义。第二，担心党的领导会不会削弱。第三，担心宗教的影响会不会愈来愈大。第四，担心有朝一日会不会重新出现大叛乱。”（1984年《西藏工作座谈会纪要》）他接着说：“我们的汉族干部如果不尊重人家，甚至想用汉族文化代替人家的文化，肯定是要踫大钉子的”。
胡耀邦把自己的民族政策概括为六个字：“免征、放开、走人。”“免征”就是至少免除自治区两年的农牧税。“放开”，就是在所有经济领域都要放宽政策。“走人”，就是除必要的干部外，所有汉族干部都调回内地安排工作。他鼓励各地少数民族一把手制定相关政策维护自身的权益，为本族谋福利。在新疆，胡耀邦支持重修被毁的清真寺，修突厥文化史，平反冤假错案。
在胡耀邦当政时期，新疆没有发生一起暴动事件，这与王震主政新疆一年（1950年）出现16次武装暴动形成鲜明对比。1987年胡耀邦因“反对资产阶级自由化不力”而辞职，两年后与世长辞。随着他的去世，共和国最宽松的民族宗教自由时期宣告结束。
其实，胡耀邦当时力主施行的对少数民族，特别是对新疆和西藏少数民族的怀柔政策，在他生前还是中共总书记在中共政权内部遭到否定，而当时中共高层否定“胡乱邦”的内部行动，就是始自王震对撤销“生产建设兵团“的坚决抵制。
王震去世之后邓小平三女儿邓榕在人民日报上发表的《缅怀胡子叔叔》一文中记载说：“胡子叔叔有事，总是先把我叫去。1981年7月，我和我爱人刚从国外回国休假。有一天，胡子叔叔叫我去。我一进屋，只见胡子叔叔一脸的严肃，一脸的不高兴。
他开门见山地说：“现在有人提出要撤销全国的生产建设兵团！生产建设兵团怎么能撤销！这是我们国家农垦生产的一支强大的力量，也是戍边保国的一支强大的后备力量！撤销生产建设兵团和国营农场的决定是错误的！”他边说边用拐杖在地下重重地敲了几下。
他说：“毛毛，回去跟你爸爸说，建设兵团和国营农场不能撤销！”
邓榕回忆说：这一年的8月，我的父亲视察西北和新疆，胡子叔叔同行。父亲和胡子叔叔走了一路，视察了一路，思考了一路。这次视察以后，那位领导同志提出撤销兵团和国营农场的意见被否决了。
这里说的“那位领导同志“谁都知道说的就是胡耀邦。邓榕在这里只提到了王震陪同邓小平视新疆，而没有提到的是当时被邓小平点名陪同的另外一个重要人物邓力群。
