繼2003年7月1日香港五十萬人遊行反對香港二十三條立法案後，2004年，又有超過五十萬的香港人在同一天舉行了大遊行，抗議北京當局否決他們爭取普選的要求，要求進行政治改革。
在2003年香港爆發大遊行後，中共中央政府不滿香港行政長官董建華未能如期將二十三條立法，此後一方面刻意架空董的權力，並在香港政改上一直處於主導地位。這包括4月6日進行釋法，將修改立法會及行政長官選舉辦法的啟動權，交在行政長官手上；中國全國人大常委4月26日否決香港進行2007年行政長官和2008年立法會普選等。另一方面，企圖以經濟作為誘餌，讓香港人放棄政治訴求。比如容許中國國內居民以個人游身份去香港消費，並以多項更緊密經貿關係措施讓香港人在國人享有多種優惠或是接近國民待遇的政策。但令中共沒有想到的是，中共的政策使香港市民與中央的矛盾凸顯，而香港人並不願意放棄更大民主的訴求，再次走上街頭要求普選。
被中共逐漸拋棄的董建華，不僅要面對香港市民的不滿情緒，還要面對被其昔日在港的盟友拋棄的局面。一向挺董的親政府人士公開指稱他為「三零特首」，即作為政治領袖應具備的政治理念、政治手腕和政治魅力，董建華在這三面的分數卻是零；也有新中商界人士公開指他被中央架空。
香港再現「七一」大遊行後，董建華應邀於7月7日同民主派立法會22名議員會面，商討七一遊行後的形勢，以及重新向中央提交政改程式問題。董建華表示明白他們對普選的要求，但自認無權要求中央更改早前的決定，即2007和2008年的特首和立法會選舉將不會有普選。
而七一當天，中共高層領導沒有在香港慶祝回歸中國七週年的儀式上露面，大陸外媒體對遊行的報導在大陸也被切斷信號。由於香港問題自去年七一後一直由江的親信曾慶紅處理，香港「七一大遊行」不啻是對江氏人馬的重大打擊。江的權力繼續受到挑戰。
中國問題專欄作家凌鋒說：「中共對付它的對手，如果不能『堅決徹底乾淨全部』的消滅之，而必須談判或對話的話，它的策略一向就是以強硬姿態向對手迫近九十九步，令對方感到毫無希望乃至窒息，然後退後一步，令對手感到中共的寬容、讓步與善意，以致心甘情願接受條件，乃至臣服。現在北京對香港，就是重演故伎。」
早在2003年5月至6月，港電臺節目主持人鄭經翰、黃毓民、李鵬飛相繼被迫封嘴，香港民主派劉慧卿議員的辦事處被縱火威脅。7月1日前夕，曾慶紅在非洲向香港「釋放善意」，隨後又發生去南非請願和起訴曾慶紅的法輪功人員被槍手襲擊，數人幾乎車毀人亡。香港七一遊行組織者網站被駭客入侵併發布偽消息改變遊行日期。
同2003年不同之處在於，2003年遊行的目標是借反對23條表達對港府不滿，今年港人不滿對象直指北京當局。分析家指，2004年以來中共對反對派人士的一系列恐怖威脅以及和中央對香港政治採取的缺乏理智的極端做法，雖然壓制了一部分人，卻更激化了香港矛盾，引發更大的反彈。
據美國之音分析報導，七一民主大遊行在被外界稱為「經濟動物」的香港，已經形成了一個類似「六四」的定期化、定型化、持續化的民眾聚會。「七一大遊行」的品牌，在香港誕生。
西山逼宮，江「請辭」弄假成真
江及其人馬2004年伊始就面臨著諸多的挑戰，讓其焦頭爛額。殊料8月中旬，洪學智、劉華清、楊白冰等老將軍在中央組織生活會上，突然提出江應在四中全會上辭去中央軍委主席職務的建議，得到了上屆政治局委員、中央軍委副主席遲浩田，中央軍委委員王克、王瑞林等的支持。老將軍們的看法由中辦轉至中央委員和候補中央委員。有四十多名中央委員、候補中央委員進行回應，致信政治局，認為江全退的時候到了。
8月下旬，江在北京西山的中央組織生活會議上當面批評胡溫，指責胡溫要對宏觀調控負歷史責任，說宏觀調控嚴重影響經濟增長，還說如果再引起社會動亂，胡溫要負歷史責任。但胡這一次沒有買它的帳，反而據理力爭，同時抬出喬石和萬里等黨內元老壓制江的氣焰。這樣，西山會議成了胡溫和江攤牌的會議。
老將軍的「逼宮」和胡溫的不買賬，讓江一時無法收場。江因此在會上假惺惺的表示可以隨時退下，決不戀棧，請政治局常委會決定。江在政治局常委會安排了很多自己的人，江相信此舉沒有太大風險。果然，中央政治局常委開會研究後，決定不討論江退下的問題。這正符合江的真實意思。江知道後大為興奮，認為自己還是大權在握，有點飄飄然，決定把姿態做得更高一些。
9月1日，江給中央政治局發了一封信，信中強調自己經過「慎重考慮」，提出請辭中央軍委主席。江的真實想法是想做個姿態，平息別人對其貪權的指責，並不是真心想交權。江相信自己提拔的人最後會「挽留」他，然後它就可以再度上馬，名正言順的繼續垂廉聽政。但這一消息很快就被另一派人馬透露到海外。9月6日《紐約時報》就透露了江自己請辭的消息。江的處境非常被動。
據知情人透露，當江綿恆知道江已遞上辭職信後，臉色頓時變得灰暗，半天說不出話來。半晌，他責問父親這麼大的事為什麼不和他商量。江綿恆說，如果江不辭職誰也不好提，但江一辭職別人一定順坡下。隨後，他忍不住大罵江身邊的人沒有勸阻。江聽完後也兩腿發軟，慌張不已。在那半個月裡，江每天都在不眠中煎熬，要求手下幾個親信要死死頂住，並隨時把最新動態告訴它。
9月初，江派居多數的中央政治局常委會正式討論江的請辭信，內部出現分歧。最後的決定是原則上接受江辭去中央軍委主席職務，但鑒於當前形勢需要，請江留任到2005年年底。
按照慣例，政治局常委會的意見要交政治局討論，並徵求一些離休人員和上屆政治局常委的意見。除中共十五屆政治局常委會常委朱鎔基、李嵐清「不表示意見」外；李瑞環、尉健行、李鵬均順勢表示要「尊重」江的要求，支持其退下。中共元老萬里、喬石、宋平、谷牧等也表態「尊重」江的決定。
距離四中全會還有五天，政治局連續討論江的去留問題。會上，個人利益和江緊密相連的那幾個人要求江留任至2005年，所持理由是台海形勢險惡，江留任可以為胡分挑擔子，云云。
當中央政治局常委會把徵集來的促江下臺的元老和上屆政治局常委的意見發至中央委員、中央軍委委員時，江已無力回天。
9月13日，中央政治局又召開了擴大會議，中央軍委委員出席參加了討論。會上，被江親手提拔起來的中央軍委委員徐才厚、梁光烈、廖錫龍、李繼耐等紛紛表態，支持江提出的「請辭」。
9月14日，離四中全會還有一天時間，政治局討論江去留的會議，從下午一直開到晚上近十一時才結束，最後決定江下臺。江的軍師曾慶紅一看風頭不對，也贊成江下臺。
江在最後幾天指示說，萬一自己必須退下，應盡量讓江系人馬掌握更多實權。在9月14日的中央政治局會議上，江系人馬提議增補曾慶紅為中央軍委副主席以及增補廣東省委書記張德江、上海市委書記陳良宇為中央書記處書記，但兩項議案均未通過。
9月19日四中全會最後一天，江被宣布下臺。9月21日，為美國《紐約時報》工作的中國助理趙岩在上海休假時被逮捕帶回北京。曾慶紅把持的國安試圖從他打開突破口，查找軍方哪股力量在向海外透消息造輿論，使江假戲成真。
江交出軍委主席的職務，是江全面退出歷史舞臺的開始。儘管江不再頻頻出現在電視上，但是其所留下的諸多問題和犯下的罪行，不可能一筆勾銷。鍥而不舍的法輪功學員仍在通過法律手段追究其責任，對江的最終的審判終要執行。
