為適應(yīng)全國工人運(yùn)動日益高漲的形勢，京漢鐵路總工會籌委會經(jīng)過多次醞釀籌備，決定于1923年2月1日在鄭州召開京漢鐵路總工會成立大會。2月1日清晨，鄭州全城戒嚴(yán)。反動軍警荷槍實彈，如臨大敵。面對全副武裝的敵人，林祥謙和代表們毫不畏懼，沖破軍警的包圍圈，進(jìn)入會場。在一片歡呼和口號聲中，宣告京漢鐵路總工會正式成立。
反動軍閥吳佩孚、蕭耀南對此感到無比恐慌和仇恨。當(dāng)天下午，他們下令反動軍警占領(lǐng)總工會會所，驅(qū)逐工會工作人員，查抄總工會的文件材料，砸壞各單位贈送給大會的匾額和禮品，甚至包圍和監(jiān)視代表們的住處。當(dāng)晚，林祥謙參加了總工會召開的緊急會議，決定向反動當(dāng)局提出五項要求，限48小時內(nèi)答復(fù)，否則將于2月4日舉行全路總同盟罷工。會議決定總工會移到江岸辦公，同時成立總罷工委員會，林祥謙被指定為江岸地區(qū)罷工總負(fù)責(zé)人。
第二天上午，林祥謙回到江岸，隨即召開會員大會，傳達(dá)總工會關(guān)于發(fā)動全路總同盟大罷工的決定，號召工友們用最大的力量反抗軍閥的暴行。接著，林祥謙帶領(lǐng)工人們組織宣傳隊，貼標(biāo)語、發(fā)傳單，揭露敵人罪行；成立調(diào)查隊，了解掌握敵人動態(tài)；擴(kuò)大工人糾察隊，同時趕制鐵棍、木棒，準(zhǔn)備自衛(wèi)。2月3日晚，罷工的各項準(zhǔn)備都已就緒。
2月4日上午9時，林祥謙接到總工會關(guān)于罷工的指示后，下達(dá)了罷工令。隨著第一聲汽笛的拉響，江岸機(jī)車廠所有的汽笛同時怒吼，響徹武漢三鎮(zhèn)。京漢鐵路全線所有的客、貨、軍車一律停駛，震撼中外的京漢鐵路工人大罷工開始了。這次大罷工從政治、經(jīng)濟(jì)上沉重打擊了帝國主義和反動軍閥。2月6日下午，漢口美、英總領(lǐng)事召集中外買辦資本家進(jìn)行密謀策劃，并向北洋軍閥政府施壓。吳佩孚勾結(jié)帝國主義，決定對罷工的京漢鐵路工人進(jìn)行殘酷鎮(zhèn)壓。
