很快张作霖就尝到了组建海军部队的甜头。1924年，第二次直奉大战爆发。战争进行之际，沈鸿烈率领舰队巡防于营口、葫芦岛一线，还在关键的几处海面上大批布雷，使得直系渤海舰队基本派不上用场。

第二次直奉大战以张作霖打败吴佩孚告终。战争结束后，奉系大将张宗昌占领了渤海舰队的驻地青岛，将渤海舰队收编。渤海舰队实力非常强大，拥有巡洋舰“海圻”、“海琛”、“肇和”，驱逐舰“同安”号等众多大型舰艇，现在，这些舰船都成了张作霖的囊中之物。

张作霖

张作霖成立东北联合舰队，自任总司令，下辖江防、海防、渤海三舰队，拥有大小军舰26艘，约32200余吨，是当时中国最强大的海军部队。

随后，东北海军又打败了闽系海军，其中1927年一次海战中，东北海军“镇海”号动用了舰载飞机，对海州湾(现连云港)和上海江南造船厂实施轰炸。虽然轰炸效果不好，却创造了一个历史：这是中国历史上第一次舰载飞机作战，也是上海第一次遭到空袭。

东北海军在中国国内横冲直撞，无人能挡。可一旦遇到西方列强，就露出外强中干的本质。

1929年，中东路事件爆发后，东北军与苏联军队进行作战。期间，东北海军与苏军黑龙江舰队相遇，由于实力相差太大，损失惨重。

此后，东北海军实力大为削弱，虽然张学良重整旗鼓，也不再有昔日辉煌。1931年“九一八”事变后，东北海军江防舰队落入日寇手中，其余舰队奋起抵抗。后南下投靠闽系的广东舰队。

1937年，全面抗战爆发后，东北海军舰船基本自沉于青岛港内和长江口岸，用来阻塞航道，防止日本舰船沿内河入侵内陆，上演了极为悲壮的一幕。