而赵昀在这件事上之所以如此大度听信高怀远的建议，也不是没有一点原因，虽然因为高怀远这次凛冽反击郑清之一系，赵昀稍微有些不喜，但是赵昀根本上还是信任高怀远的，而在这个时候，不管谢木林、郑清之那些人如何攻讦高怀远，赵昀还是不信高怀远会不利于他，更何况他也担心军队之中有人会图谋不轨，有了这个军统司之后，他可以通过高怀远更好的掌控各地军队，以免再发生类似当年霅川之变时候一些军队反叛的事情，再者说了，军统司不干地方政务，只监察军方将官，也不会影响到对于民政方面的事情，所以赵昀在考虑之后，便大方的放手让高怀远组建了这个组织。

军统司一经成立，便立即揪出了军中不少贪腐无能的军将，这些人虽然有些后台，但是和高怀远的势力比起来，便什么也不算了，根本无人可以护得了他们，于是短短一个多月时间，便接连拔出了十多起地方驻军的贪腐窝案，从严查处了一批贪婪、无能之辈，将其送交刑部和大理寺惩办。

军统司一事刚刚确定，高怀远便又动议上奏朝廷，大力裁撤军中冗员冗兵，淘汰军中大批老弱病残不能作战的弱兵，并且将一些根本无用的地方驻军一并裁撤，减轻朝廷对于军资的负担。

这件事立即在朝中引起了一番争议，要知道宋代兵制乃是以募兵为主，基本上驻屯大军取代了北宋年间禁军的地位，成为了宋军的正规军，而禁军、厢兵、乡兵、土兵则成为杂兵，平日不怎么训练，只充当一些杂役之类的工作，看起来南宋军队数量不少，但是真正可以用来作战的却只占少数，战斗力不强也就不足为奇了。

更何况宋代有习惯，只要地方发生灾害，便大批征兵，将灾民征入军中养活起来，但是如此一来，军队里面的人员结构便复杂了起来，大批流民、无赖、地痞进入军中，其结果是军队的军纪涣散，不但起不到镇守地方的作用，反倒为祸一方，成为一种顽疾。

长年累月下来之后，不断增加的新军大大增加了朝廷的负担，即便是南宋是天下第一巨富，岁入十分巨大，也有点承受不起这样的负担。

高怀远这一次便将矛头直指这种弊端，提出大批裁撤地方无用之兵，归于民间令其自谋生路，减轻国家财政负担，改走精兵路线。

这件事出发点绝对是好的，但是没想到一提出来，便在朝中引发了大规模的争论，这一次倒不是谁有意为难高怀远，而是这件事牵扯到了国家的稳定的问题，高怀远只提出裁撤冗兵，但是却没有提出如何处理这些裁撤下去的冗兵，要知道这帮冗兵平日不事劳作，早已游手好闲习惯了，而且其中兵痞甚多，一经裁撤之后，便等于断掉了他们的食粮，端了他们的饭碗。

大批冗兵归于地方，便很可能让这批无以为生的冗兵们成为地方的一个祸害，他们没法生存，自然不会闲着等着饿死，结果是很可能让这些人跑到山林之中，聚众成贼，为祸地方。

这也是朝中不少大臣提出的问题，假如这个问题不事先考虑好解决的方案的话，裁撤冗兵之事只可能成为空谈，一旦强行实施的话，很可能还会造成地方大乱。

赵昀听罢了这些大臣提出的问题之后，不由得也开始犹豫了起来，裁撤冗兵他也知道可以减轻朝廷的负担，这对于他治国当是好事，但是假如处置不当的话，就可能好事变坏事，最终闹得地方民乱四起，搞不好他的江山还可能会出问题。

于是这件事便出现了巨大的阻力，高怀远这才意识到，自己有时候在考虑一些问题的时候太过简单了一些。

于是他只得暂时放缓这件事的推行，开始和朝中一些大臣们商议此事的解决办法，为此他专门在醉仙楼宴请了魏了翁、真德秀、洪咨夔等朝中有德有名的大臣，借着席间商议这件事。