劉粹剛早年有「工業救國」思想，高小畢業後以優異的成績考入了校址在瀋陽市的遼寧省立第一工科學校。因「九一八事變」爆發，流亡北平，後去南京考入黃埔軍校第九期步兵科。1931年春，中央航空學校（筧橋航校）正式成立。他在中央陸軍官校未等畢業，於1932年一二八事變時經過嚴格的學科考試和體格檢查，進入中央航校第二期學習飛行，在校期間其飛行技藝居全校之冠。1934年底，中央航校第二期驅逐科舉行結業考試，劉粹剛成績最優。在中華民國空軍中，最好的空中射擊紀錄保持者有兩個人：一個是「空軍戰神」高志航，另一個就是「飛將軍」劉粹剛。

1934年12月航校畢業後，初任中華民國空軍驅逐第一大隊准尉見習官。此後的幾年中，他由准尉見習官轉遷少尉飛行隊員，再遷中尉分隊長；1937年遞升為第五航空驅逐大隊第二十四隊上尉本級隊長，率隊駐防南昌。第五航空大隊清一色是中央航校畢業的，大隊長是丁紀徐。配備的飛機全部是美製霍克三式驅逐機。劉的座機是「2401」號。

1937年8月3日，五大隊因戰火擴大奉命移防揚州。翌日，全隊離開南昌秘密飛抵揚州。8月13日夜，第五航空大隊接到蔣介石親自下達的命令，轟炸從長江撤退的日軍軍艦。這是蔣介石給中國空軍下達的第一個真正的抗戰命令。8月14日凌晨，該大隊首次參加對日作戰，但沒有發現長江中的敵艦。劉粹剛領隊飛行，由吳淞口南下，經過川沙上空時，劉率先發現一艘日本軍艦，並第一個投彈；二十四隊梁鴻雲副隊長根據劉投彈的彈著點修正，第一個炸中日艦，立了第一功，中華民國空軍第一個犧牲的也是梁鴻雲。

從8月14日至10月26日，五大隊在淞滬前線奮戰的紀錄中幾乎都有著劉粹剛的身影。8月16日，劉粹剛擊落日軍水上偵察機一架，從此開始了這位「飛將軍」個人擊落敵機的首次紀錄。劉粹剛短暫的一生宣稱擊落紀錄為擊毀11架日軍飛機，空軍的官方認定戰果為7架，在官方戰史上排名第四。

8月22日，第五航空驅逐大隊奉命由揚州移駐南京，與高志航的第四大隊共同擔負南京的空防任務。同時，繼續配合淞滬戰場上的中華民國軍隊作戰。

10月12日，劉在南京城上空擊落日本海軍於9月投入實戰的九六式艦上戰鬥機，創造了中華民國空軍第一次擊落日軍王牌飛機的紀錄，克服了國府空軍飛行員對日軍新型機的恐懼心理。劉粹剛的英名從此脫穎而出，一時成為南京人街談巷議的新聞人物。 此戰，劉獨創直「8」字機動，連續三次重複直「8」動作，擺脫敵機追擊，化被動為主動，以劣勢裝備霍克三戰勝了敵人的優勢裝備九六式，南京市民湧上街頭觀戰，親眼目睹了日軍王牌飛行員墜毀陣亡的現場。在太湖上空與劉粹剛的2401號機進行遭遇戰的日本陸軍號稱「四大天王」之一的王牌飛行員加藤建夫上尉在日記中稱讚劉是趙子龍式的勇士。為了表彰劉的巨大功勛，南京國民政府、中央航空委員會、中華民國空軍總部曾多次通令嘉獎，並頒發給他七星星序獎章和二等宣威獎章各一枚。

10月25日，劉奉命率3架飛機掩護八路軍反攻娘子關。26日，劉帶2架僚機從江蘇溧水機場起飛，到達洛陽加油。劉從未飛過山西航線，當時氣象條件很差，劉仍然堅持起飛，當晚8時飛到娘子關附近，但未能和八路軍取得陸空聯絡。因未能找到太原機場，劉決定飛回洛陽，在返回途中，三架飛機油量耗盡，劉發信號彈幫助兩位僚機駕駛員跳傘，自己堅持駕機迫降，但在高平縣城撞上魁星樓，當場死亡，時間是當晚9時許，年僅24歲。殉職後追贈少校。

劉粹剛烈士的遺骨在高平縣妥為收斂。同年11月16日，遷到南京，後安葬在南京紫金山北麓的航空烈士公墓。

劉的妻子許希麟1949年去台灣。兩人1935年結婚，沒有子女。