组建潜艇部队
海军建设初期，首先组建的是常规动力潜艇部队。为了培训潜艇人才，海军于1951年4月成立了275人的潜艇学习队，到前苏联海军太平洋舰队驻旅顺潜艇分队学习。在学习期间，周恩来、朱德、彭德怀、刘伯承、罗瑞卿等中央和军委领导人先后到学习队视察，鼓励学员们刻苦学习，为创建中国第一支潜艇部队作出贡献。周恩来还为学习队提词：遵照毛主席指示，学会潜艇作战。与此同时，海军于1952年5月在青岛开始修建中国第一个潜艇基地。1954年6月19日，第一支潜艇部队海军独立潜水艇大队宣告成立。6月24日，接收了向前苏联购买的2艘旧式潜艇，分别命名为新中国11号和新中国12号。11月底，这2艘潜艇参加了青岛基地组织的各种战术动作表演，并开始担负海上巡逻警戒任务。同年7月，又接收了苏联的另2艘旧式潜艇。1954年从华北和中南军区调拨一部分人员补充到潜艇学校，为潜艇部队的建设和发展增加了力量。
组建海军陆战队
1954年12月9日，以海军原有的一个陆战团为及水陆坦克教导团为基础，抽调华东军区水兵师师部及水兵2团，合并组成了海军第一个陆战师。后因任务变化，于1957年撤销，编为上海警备区守备部队。1979年又重新组建比较正规的海军陆战部队。
海军机关精简
1969年11月，海军领导机关进行了第三次较大的精简和调整。撤销了航空兵部，合并装备部、工程部、军校部，整编为司令部、政治部、后勤部3个部。下属的业务部（局、处、室）也由原来的50个减为27个。这次整编，无论是部门设置，还是人员数量，减少的幅度都比较大。但海军是一个装备复杂、技术性很强的军种，没有统管装备技术的机关，削弱了对海军装备技术工作的领导和管理。为此，1974年1月，以海军后勤部装备部、修理部和司令部造船工业领导小组办公室等部门为基础，组成海军装备技术办公室。1976年改称装备技术部。1978年5月，中央军委决定，恢复海军航空兵部，作为海军航空兵领导机关。


组建炮兵司令部
1950年8月组建。归口管理全军的炮兵业务。炮兵司令部成立以后，加紧了从1949年底即已开始的组建地面炮兵师和高射炮兵师的工作。到1958年，炮兵人数占全军总人数的4.8%。
组建炮兵教导大队
1957年12月9日，中央军委决定由军委炮兵和国防部第五研究院组建炮兵教导大队，为创建地地战略导弹部队培训指挥、技术干部。1959年7月，培训任务完成，机构撤销。军委炮兵将原教导大队第一营的1个发射连及专业分队，扩编为人民解放军最早的1个地地导弹营。
军委炮兵、装甲兵、工程兵领导机关改隶总参谋部
1982年8月16日，中央军委决定，从9月1日起，将军委炮兵、装甲兵、工程兵领导机关，分别改为总参谋部炮兵部、装甲兵部、工程兵部，成为总参谋部业务机关。这是解放军领导体制的一次重大改革。
组建公安部队领导机关
1950年9月22日，经中央军委决定，以第二十兵团机关为基础组建。11月，中国人民解放军公安部队司令部成立。根据中共中央赋予的任务，公安军部队统辖公安师和省（市）公安总队。1955年7月18日，按照国防部命令，公安部队改称公安军，成为中国人民解放军的一个军种。1957年1月22日，中共中央决定，撤销公安军番号。8月1日，按照中央军委的决定，将公安军司令部改为总参谋部警备部；所属部队一部分交公安部门领导，一部分改为城市内卫部队，划归省军区建制领导；公安军番号正式撤销。