蔡京这次被宋徽宗免去宰相职务，发生在宣和二年（1120）六月，这是他第三次被宋徽宗免职。这次被免职的主要原因是，他对联金灭辽收复燕云很不热心，很不积极，甚至消极对抗。他反对让童贯负责这件事。他又一次用相权冒犯了皇权，直接阻碍了宋徽宗收复燕云十六州的战略计划。
　　这年初春，童贯又写了一份《平燕策》，其大体意思还是说，宋军主力要兵分两路，一路进攻山前燕京一带，另一路进攻山后云中地区。这与他以前提出的进军路线图基本一致，没有什么新意。童贯将这份报告交给蔡京，让他提提意见，如果没什么意见就呈给皇上，供皇上参考。
　　蔡京将这份报告一直扣留在自己家里，既不组织会议讨论，也不呈报给宋徽宗。就这样搁置了两三个月，就是不予处置。
　　童贯很生气，就找机会向宋徽宗告状。宋徽宗于是派内侍童师敏来太师府，询问蔡京：“童贯的《平燕策》如何？”
　　内侍童师敏来太师府催问了好几次，每次蔡京都以各种理由进行推诿，迟迟不做正式回复。
　　宋徽宗耐心等了一些日子，见蔡京仍然没回话，于是又派内侍童师敏来太师府，向蔡京直接索要文本原件。蔡京虽然口头答应，但就是拖着不办，拒不交出文本。
　　宋徽宗对此有些恼怒。这天早朝后，宋徽宗让蔡京留下，当面询问道：“太师何故扣留童贯的奏疏？”
　　蔡京回答说：“童贯徒有虚名，无能为也，臣岂不知？且伐国大事，安危系之，陛下何以付童贯？”
　　宋徽宗说：“从前，童贯曾收复青唐，太师不记耶？岂非童贯之功？”

　　蔡京回答说：“崇宁时收复青唐，派遣童贯前往，只是监军罢了。当时陛下刚刚亲政，责办在臣。兵权交给王厚，而谋策皆出自臣。若是情况像当今这样，臣亦不能为之。收复青唐这样的地方，今日尚不可为，何况伐辽国乎？”
　　宋徽宗说：“辽国內发生自叛，必不能久，如何不可伐？”
　　蔡京回答说：“臣听说，辽国皇帝之叔叫九大王，辽国皇帝遣九大王领兵伐金，而九大王到达军中后被叛臣强立为帝，九大王拒绝，后得机会窜身归国，辽国皇帝待之如初。后来又出师伐金，听说又是九大王为帅，未见其相互残杀之理。辽国与金人胜负，本未可知。”
　　随后，蔡京接连四次给宋徽宗呈上奏疏，弹劾童贯，指责童贯前后败坏边事。蔡京说：“童贯最开始是臣推荐，担任监军。但现在他权重过当，他日可能会连累臣，臣不可无言。并且，童贯位极人臣，今与臣同，则臣实耻之。”
　　蔡京对童贯的这些指责，让宋徽宗有些震动，也有所顾虑。他在考虑是否罢免童贯的一切职务，令其致仕。但是，谁能接替童贯？谁能担当大宋军事指挥重任？把最高军权交给边关帅臣吗？那样做是很危险的。因为军队最高指挥权，必须切实可控才行。

　　宋徽宗的心思，被内侍童师敏看出来一些，他悄悄告诉了童贯。童贯很揪心，很怕失去手中的权力。童贯知道蔡京大儿子蔡攸与宋徽宗私交甚好，于是想请蔡攸帮忙。
　　蔡攸这年四十五岁，比宋徽宗大五岁，与宋徽宗是老相识。宋哲宗元符年间，宋徽宗担任端王，每次下朝时，都会在路上遇到一个眉清目秀的青年。那青年每次见到端王都要下马，拱手而立，谦恭有礼。
　　端王很好奇地问身边人：“这是谁家公子？”
　　身边仆隶回答说：“这是蔡承旨的大儿子。”
　　蔡承旨就是蔡京，那时蔡京担任翰林院承旨，是翰林院的最高领导。那时，蔡攸在裁造院作监守。裁造院是专门给皇帝裁制服饰用品的一个机构。
　　宋徽宗继位当皇帝后，赐蔡攸进士出身，任命他为秘书郎，以直秘阁、集贤殿修撰，编修《国朝会要》。蔡攸从此鸿运当头，官位高升，宠信有加。更不寻常的是，宋徽宗与蔡攸私下里时常不拘君臣之礼，连蔡攸的妻子宋氏也跟着沾光。据说，宋氏进出皇宫就像在自己家一样，很是随意。
　　可是，以什么理由与蔡攸见面呢？这让童贯煞费苦心。后来他想起自己在城西的房子，与太师府内的西湖邻墙，于是以流水相接为名，邀请蔡攸来自己家相见，议分定界。

　　蔡攸如约而来，童贯置酒甚厚，热情相待，并送给蔡攸两条饰有犀角的很金贵的腰带，希望他在皇帝面前替自己多美言几句。蔡攸满口答应。
　　后来，在蔡攸运作下，弹劾童贯一事，果然不了了之。
　　蔡京终究没有扳倒童贯。他听说，可能是蔡攸暗中起了一些作用，于是对蔡攸极为不满，可又无可奈何。父子俩关系，从此开始有了裂痕，逐渐变得势同水火。
　　从此以后，蔡京对于联金灭辽收复燕云这一战略，处处消极抵触。许多依附于蔡京的大臣，也都不赞成收复燕云。
　　日期：2022-04-17 10:16:48
　　蔡京开始排斥童贯，弹劾童贯，直接原因是，去年宋徽宗将童贯晋升为太傅，封泾国公。蔡京数次表示反对，认为这样做很不妥当。但宋徽宗不听，严令必须执行。蔡京是鲁国公，童贯是泾国公，如此一来，两人地位一下子就平起平坐了。
　　现在，人们称呼蔡京为“公相”，称呼童贯为“媪相”，这明显含有讽刺意味，并且，社会上开始流行这样一首童谣：“打破桶（童），泼了菜（蔡），便是人间好世界。”蔡京对于人们将自己与童贯并称，既感到耻辱，也感到很不安。
　　蔡京越来越排斥童贯，蔡京对于收复燕云的态度发生了逆转，这让宋徽宗有些郁闷。这天上朝，恰好蔡京没来。宋徽宗给蔡京一个特权，每隔三天上一次朝，然后到宰相办公室都堂处理一次公务，平时可在家办公。宋徽宗觉得，今天蔡京不在场，正好可以了解一下大臣对于收复燕云的态度，因为有些大臣惧怕蔡京，当着蔡京的面不敢说心里话。
　　宋徽宗问道：“有一事欲商，北伐辽国收复燕京如何？”
　　郑居中此时领枢密院事，主管国防军事，所以，他首先表态说：“时机未到，不可为。”
　　宋徽宗又问余深：“太宰的看法呢？”
　　余深是位老臣，这年已七十一岁，此时担任太宰。余深回答说：“臣与蔡京所见相同，亦曾奏知，恐此事不可轻动。”
　　宋徽宗又问中书门下侍郞白时中：“白中书的看法呢？”
　　白时中看看左右，显得顾虑重重，他尚未回答，少宰王黼抢着回答说：
　　“中国故地，久陷戎虏，今日天助陛下成此大功，若不乘时，恐有后悔。我朝与辽国虽已通好百年，但历朝以来，辽人多次怠慢我们。兼并弱小攻打愚昧，是最好的军事战略。现在不攻取辽国，女真将来必会全部占领辽国领土，到那时，燕云故土将永无收回之日，将不再为我中原所有。”
　　宋徽宗听后笑了笑，说：“众人皆说不可，卿独可之。难以施行，姑且等待他日。”
　　又过了一些天，宋徽宗在延福宫举行曲宴，宴请蔡京、郑居中、余深、王安中、白时中等宰执大臣们。酒足饭饱之后，宋徽宗令大家泛舟游玩。