人寻作乐，不但目光越来越狭窄，还放纵了宦党。郭崇韬虽然得意忘形，一般政事尚能秉公理，也因此没少得罪宦党，经常被在李存勖耳边说三四。加上他在李存审、孔谦、李绍宏、自诩士族、疏远旧等等事情上无法服众，因此朝中对他也颇有微词。

郭崇韬听到非议，为了避嫌只好上奏让枢密使的位，见李存勖不答应，又请求将枢密院的分权利转到其它门，岂料依然招来宦官的诽谤。他于是愤愤不平的对儿们说；“我辅佐主上，成就大功，现在却被小人们排斥诋毁，只好避其锋芒，回镇地常山去了。”郭崇韬的儿廷诲是个纨绔弟，不但不支持他，反而劝阻说，一旦失去权位，便如同神龙离开，连蝼蚁也可以伤害它。受益的门人故吏更是谋划策，想尽办法劝他留任。正好李存勖有个夫人姓刘，太后不喜她的品行，李存勖却很想让她作皇后，门人故吏就建议郭崇韬上书立刘夫人为皇后，一来讨李存勖兴，二来等于在后安了一个自己人。郭崇韬就联合宰相带着百官一上奏，果然讨得李存勖一时龙颜大悦，地位也暂时巩固了。但郭崇韬哪知，此举最后反而使他遭到杀之祸。

刘夫人虽然当了皇后，却并未给郭崇韬多力。这个妇人贫寒，为了求富贵连亲爹都不认，还谈得上什麽信义。况且此人财如命，自从作了皇后，四方贡献的奇珍异宝都要专门准备一份给她，纯属认钱不认人。郭崇韬毕竟不是佞臣，实在是无法驾驭她，因此宦党一有机会仍旧可以诋毁他。

历史上士族与宦党争权并不罕见，宦党靠的是溜须君主，而士族最有力的办法也只不过板起脸教训君主，偏偏李存勖又是个浮躁、不识大的人，因此在争取李存勖方面，郭崇韬于明显的劣势。只不过先前宦党攻击郭崇韬，李存勖只当事不关己，一耳朵一耳朵，直到925年7月，李存勖才真正开始厌恶郭崇韬了。

当时久旱逢雨，天气却非常，李存勖跑到楼上避暑依然不舒畅。宦官就借机夸耀唐朝当年的排场，说现在的皇还不如当年长安的大臣家。闷难耐的李存勖听了很不服气，说；“予富有天下，难还置不起一座楼阁！”当时中原大旱，他担心郭崇韬反对，就送信给郭崇韬诉苦说；“今年酷，朕当初在河上，五六月间与敌军对垒，大帐闷，然而跨击贼，反倒觉得清凉。而今成天住在，却受不了暑了，这是什麽理？”本想让郭崇韬迁就，不想郭崇韬却上奏；“陛下当初在河上时，汴寇未平，因此废寝忘，一心想着作战，严寒酷暑都不放在心上。现在敌寇已经平定，中原一片太平，纵情享乐，纵然是百尺台，广殿九筵，也不会到满意的。希望陛下反思当初创业的艰难，那麽对今日的暑，自然而然便不介意了。”李存勖看过奏折很生气，宦官见状就诬告：“崇韬的府邸，排场不差于当年的皇，他当然要说风凉话了。”李存勖于是更加气愤，独断专行的修造了皇。郭崇韬又阻谏说；“现在中原大旱，军粮匮乏，希望暂时停工，等来年丰收再说。”李存勖更是充耳不闻。

过了不久，会客省使李严使西川归来，报告了蜀主王衍荒，可以征讨的情报。郭崇韬正愁在李存勖面前越来越失去信赖，不久前李存勖不经与他商议，就将得罪宦官伶人的清官罗贯死，便是一个警告，见此机会赶忙上奏说；“契丹侵，北方要依仗李嗣源镇守。臣觉得魏王继岌，仁德威望越来越，却还从未立过大功，正好借西征任命为元帅，委托以讨伐之权，巩固他的威望。”李存勖很喜李继岌，就回答说；“小孩不懂事，哪有能力独自征，卿还要为他一位副帅呀。”郭崇韬装作思考，果然听到李存勖接着说；“我看最合适的就是卿了。”便下旨李继岌为帅，郭崇韬为副帅，10月8日，率军六万征讨西川。

郭崇韬只想借西征恢复声望，哪考虑过一旦离京，对君主便失去了控制，很容易被政敌离间，更何况还是手握重兵，于是踌躇满志的踏上了灭亡之路。

11月6日，唐军大散关，郭崇韬用鞭指着崇山峻岭对李继岌说；“朝廷兴兵十万，已经到了这里，如果不能成功，哪里还有退路？如今由岐运送的补给，只能支持几日的，必须先夺下凤州，获得其存粮，才能满足我军的需要。”于是令李严、康延孝先送书檄，告知凤州节度使。同日，一支唐军已经迫降威武城，得兵四千，粮二十万石。第二天，凤州节度使王承捷投降，唐军又得兵八千，存粮四十万。7天后唐军又击退蜀军，占领三泉，获得存粮十五万。自此军需充足，士气大振，一路摧枯拉朽平定了西川。而一路上从敌军的招降置、官吏的补充、到大军的行动计划、军书告谕，都由郭崇韬负责，李继岌只是挂名而已。