庐州民众夹道观看，人们从来没有见过这样的排场，似乎比之大清巡抚、总督出巡也要奢侈、威风得多。当时目击者就记录了这样的场面。
庐州之战，太平军也遭到不小损失，也许是这个原因，石达开从天京、安庆抽调了若干得力干部前来补充，如在安庆巡查民务和带兵的殿右二十指挥李秀成，当时叫李寿成，就是这时派往庐州的。
庐州是兵家必争之地。半年后见于清江南大营和春等军围攻庐州，杨秀清派夏官又正丞相周胜坤和秋官副丞相陈宗胜率军来援。胡以晃因治军不力，又丢掉了庐州西边的六安州，被削去豫王爵，调离庐州，发在石达开麾下听用。
1855年3月，清军和春等部反扑庐州，陈宗胜战死。庐州围急，太平天国几次派出援军，石达开、陈玉成也曾先后前来解围，未能奏效。同年10月，潜伏在城里的士绅打开城门接应，庐州陷落。
曾天养跨上黑马，手执长矛，直冲塔齐布而来，塔齐布来不及遮挡，被一矛刺中坐马。
1854年，西征军韦志俊、石祥桢部鏖战武昌城下，久攻不克，就分军向湖南挺进，开辟第二战场。
湖南战场上，他们遇到了强大的对手，即曾国藩新建的湘军水陆师。
进入湖南的西征军的两支主力部队：春官又副丞相林绍璋的前军；国宗石祥桢的后军。
凯歌行进。开始，两军旗开得胜，马到成功。2月27日，林绍璋部占领岳州，西渡洞庭，攻占湘阴，于是溯湘江而下，攻占仅离省城长沙六十里的靖港、新康。长沙城门紧闭，进入一级战备紧急状态。3月11日，西征军攻占长沙城西宁乡，他们的战略是占据长沙周边城镇而后全面围攻长沙。当时曾国藩新编的湘军已北上，因宁乡失陷赶来反扑，西征军失败，北撤。曾国藩派王鑫、塔齐布等追击，取湘阴、岳州。
湘军初战获胜，得意之至，岂料西征军退出岳州后，即调动第二梯队，大举反攻。4月4日，在湘鄂边境的羊楼司与乘胜北上的湘军王鑫军相遇，湘军败溃，王鑫及曾国葆等部均退入岳州城。他军因城空无粮均离城它去，王鑫部独留城中，后果然缺粮而人心混乱，王鑫急缒城逃走。西征军再占岳州。
西征军继续南下。4月22日，再次占领靖港。他们仍采取一个月前的陈规旧例，由石祥桢率水师守靖港，林绍璋率陆师南下，以攻取长沙周边卫星城市孤立长沙。4月24日，林绍璋军在宁乡大破湘军三营，攻占湘潭和株洲渌口。即在湘潭城外修筑防御工事，筑垒自固，并在湘江上游水面麇集几十艘民船建立了木城，阻击援军。
形势大好。长沙已陷入太平军的南北围攻中。
曾国藩调兵遣将，他以塔齐布、王鑫等湘军水陆师主力攻湘潭，自引水师攻靖港作为牵制。
4月25日，塔齐布等部来到湘潭战场。
4月26日，林绍璋部主动出击，失败。
4月27日，湘军水陆并进。西征军水师先败。陆军摆开阵势迎战。此时，统率陆师的参将塔齐布，身先士卒，独自驰马陷阵，湘军将士随之跟着冲锋。太平军与敌多年鏖战，却从未见有敢于短兵相接、作肉搏战的清军，不禁惊愕，后队忽然望见周围山冈出现不少肩挑的行人，心理负担更为沉重，以为湘军大至，就先撤走；前军也退，相互拥挤、践踏，湘军大声呼喊杀敌，山冈上的行人也相呼应，太平军不战而溃，湘军乘势追至城下。
4月28日，西征军水师在湘江水面被焚毁百余艘。
4月29日，西征军陆师又败。林绍璋收队回城时，广西籍老兄弟和两湖籍兄弟因战争失利、互相指责，五十步笑百步，竟引起械斗，自相残杀，死去几百人。
4月30日，西征军水师又在湘江水面被焚毁几百艘船只。
5月1日，林绍璋放弃湘潭，北走。
五天战斗，林绍璋五战五败，据称将士阵亡超过万人。这是太平军自金田起义后最大的一次溃败。也是湘军创建后首次大捷。湘军就此声名远扬，士气振奋，始为朝廷器重，且作为正规军由内线转入外线作战。
湘潭之战，主要是林绍璋不懂得打仗，不会管束将士。当时从双方实力比较，太平军是处于上风，完全有把握打败湘军、攻占长沙的。这一仗如果打得好，刚筹建的湘军很有可能在萌芽时就被拔掉。
这一仗，为曾国藩出山捞到了一笔极大的政治赌注。他由是对林绍璋其人记忆犹新，十年后，他还和被俘的李秀成谈及“林绍璋于咸丰四年在湘潭战败，其人并无本领。”
太平天国自此之后，再也无力进图湖南。
因此后来李秀成总结失败教训，把它列为“天朝十误”之一，说，“误不应发林绍璋去湘潭，此时林绍璋在湘潭全军败尽”。
与此同时，曾国藩所率水师在靖港打了败仗。
原先曾国藩根据情报，以为靖港石祥桢部只有几百将士，而且未作戒备，可以一举成功，就带了战船四十号，兵丁八百前往，向靖港驶进，在接近西征军营地时，望楼上哨兵就发现了，守军开炮轰击。这时正好风高浪急，湘军水师逆风行船，速度缓慢，曾国藩求胜心切，派遣勇丁上岸牵纤。石祥桢遣将士杀尽牵纤者，又命两百多只小划子顺风而上，攻击敌船，乘风纵火，火顺风势，风助火威，敌船纷纷起火。湘军陆师闻讯水师失利，会同团丁前来援救，石祥桢引军反击，团丁不战逃命，牵动陆师溃退，争渡浮桥，桥塌，溺死百余人。曾国藩见危急状，亲自仗剑督阵，命令立令旗于岸上：“过旗者斩。”但团丁不听，都绕过令旗奔逃。曾国藩自领的湘军水陆师全败，辎重船艘尽毁。他顿足捶胸，羞愤之至，逃到靖港对岸铜官渚投水自尽；投了水被救起来后，又投了水，也有说当时曾国藩先后共投了三次水想自尽。在救回到长沙妙高峰时，他想起兵败之惨，又想寻死，连夜写了遗疏和遗嘱二千言。正在痛苦绝望的时候，忽然从湘潭前线传来塔齐布等大捷的喜讯，方才取消寻死的念头。
太平军靖港之战只是小胜。湘军水师虽败，但由于左宗棠赞画湖南巡抚骆秉章幕，于人力物力不断充实，致使湘军水师重新获得配备，士气振奋。
1854年6月，曾国藩指挥水陆师二万余人北上进攻岳州。
秋官又正丞相曾天养由常德赶回岳州组织反攻。湘潭惨败，元气大丧，太平军水陆都败，曾天养退出岳州，在城陵矶继续阻击湘军北上。
曾天养再次组织水陆军反攻，仍失败。
几天后，曾天养得到湖北援军，第三次组织反攻，却因湘军守备杨载福乘风纵火，又遭失败。
湘军水陆师乘胜前进。此时南风大作，水师船队行驶飞速，直至城陵矶。
曾天养虽屡战屡败，仍豪气不衰，他见湘军骄傲轻敌，先以偏师诱敌，而主力潜伏在旋湖港，敌人中计追击前来，游击沙镇邦领头队，总兵陈辉龙率二队，船大体重，被诱进浅滩搁浅起来，正是进退两难。曾天养就指挥伏船出击，全部、彻底歼灭陈辉龙、沙镇邦所带的水师船只。水师总统、知府褚汝航、同知夏銮闻警来救，也因陷入重围，被一一打死。曾国藩湘军水师开始装备就很精锐，配备有从澳门向葡萄牙购置的大炮，水师将士也是经过挑选，现在仅在一天战斗中就都毙命，曾国藩又是伤心极了。
两天后，曾天养率军三千从城陵矶登岸，打算安寨扎营，忽见南面烟尘大起，原来是破格擢升的新授署湖南提督塔齐布率领的湘军陆师赶到。曾天养来不及布阵调遣兵将，竟然跨上黑马，手执长矛，直冲塔齐布而来；塔齐布来不及遮挡，被一矛刺中坐马，准备抽矛再刺，不料塔齐布亲兵黄明魁急以长矛反刺，曾天养来不及转身，被一矛刺中，跌于马下，惨遭杀害。
曾天养之死是西征太平军一大损失，太平天国从来宣扬人死是“升天”，不能哭，不能做丧事，但对曾天养之死却破例，两湖太平军连续吃素六日，以悼念他。曾国藩也因率湘军出境时吃过曾天养的亏，此后牢记不忘。后来还几次与被俘的李秀成谈及说，“其人是一好手，资格最深。”
陈玉成率五百将士，从梁子湖转武昌城东，缒城而上，遍插黄旗，守军惊散。
西征军由南昌撤回后，由胡以晃率领的部队攻占了安徽庐州，另支由国宗韦志俊、石祥桢等率领西进湖北。
1853年10月1日，西征军进入湖北，占领长江北岸的武穴（广济），即溯江西上，打响了第二次攻打武汉的炮声。十七岁的左四军正典圣粮、职同监军陈玉成也别领一军，占领了漕河。
这年陈玉成刚由牌尾（童子兵）脱籍，成为正式的牌面。他年过十六，身材不过中人，容貌秀美、潇洒，颇见虎虎生气。据说他两眼下长有黑痣；也有说是小时候患有眼疾，用草艾熏眼夹，以致愈后在眼下留有疤痕，因而乡人谑呼为“四眼狗”。此后，这个浑号也为敌方借用，作为诬骂陈玉成的代名词了。
西征军势如砍竹，年底占领了鄂东重镇黄州（黄冈）。
湖广总督吴文镕是曾国藩坐师，资格颇深，亦很有官场阅历，但毕竟是儒门中人，不会带兵领将，他率领的军队纪律松懈，也无力约束。时值天寒地冻，将士就驻地堵城附近村庄，拆毁民房，掠取燃料，用作兵营生火取暖，民众被迫流离失所、无家可归，怨声载道。也有民众投奔了太平军，或为太平军通风报信，传递清军活动。
吴文镕也在注意黄州太平军动态。
这天，吴文镕获得消息，说是黄州城里的太平军将士正热烈地欢度天历春节，毫无戒备。
