上海音乐学院前身是伟大的民主革命家、杰出的教育家、思想家蔡元培先生和音乐教育家萧友梅博士于1927年11月27日共同创办的国立音乐院。首任院长为蔡元培先生。1929年9月更名为国立音乐专科学校。中华人民共和国成立后，于1956年定名为上海音乐学院。自1949年至1984年，著名作曲家、音乐理论家、音乐教育家贺绿汀担任院长（后任名誉院长），为学校的建设及发展做出了卓越的贡献。1984年后，桑桐、江明惇、杨立青、许舒亚教授曾先后任院长。学院现任党委书记、院长：林在勇。

学院面向全国招收本专科生、硕士研究生、博士研究生，并招收外国留学生。学院设有15个系（部），即作曲系、指挥系、音乐学系、民族音乐系、钢琴系、声乐歌剧系、管弦系、音乐教育系、音乐戏剧系、艺术管理系、音乐工程系、现代器乐与打击乐系、公共基础部、研究生部、数字媒体学院（筹）等。涉及6个专业(作曲与作曲技术理论、音乐学、音乐艺术表演、录音艺术、公共事业管理、音乐科技与艺术)、近20个专业方向，既包括了具有雄厚根基的传统专业，也有若干新建的新兴学科与交叉学科。
　　学院拥有全国最早建立的硕士、博士、博士后流动站的完整教学、科研体系。目前，有博士学位一级学科授权点3个（艺术学理论、音乐与舞蹈学、戏剧与影视学）；硕士学位一级学科授权点3个（艺术学理论、音乐与舞蹈学、戏剧与影视学）；艺术学博士后科研流动站1个。学院目前拥有2个上海市重点学科（优势学科：作曲与音乐设计，特色学科：音乐文化史）、上海市教育高地1个（音乐表演）、以及上海市高校音乐人类学E－研究院。

　　学院拥有3个集教学、表演、科研为一体的艺术中心，即周小燕国际歌剧中心、国际弦乐艺术中心、国际钢琴艺术中心；拥有1个音乐研究所，下设中日音乐文化研究中心、中国当代音乐研究与发展中心、上海音乐学院校史研究中心、音乐剧研究中心、音乐教育研究中心、音乐与社会研究中心等。并建有六个音乐表演团体：上海青年交响乐团、上海音乐学院新室内乐团、上海音乐学院弦乐四重奏组、上海音乐学院打击乐团、上海音乐学院民族乐团以及上海音乐学院合唱团。学院另拥有一个富有特色的出版社——上海音乐学院出版社、一个高水平的学术期刊——《音乐艺术》、一个独一无二的特色博物馆——东方乐器博物馆、以及一个高水准的演出场所——贺绿汀音乐厅。
　　学院在教学体制上实行“大、中、小”一贯制。1953年正式成立了附中，1956年成立了附小。五十多年来，附中、附小形成了鲜明的教学特色和优良传统，取得了优异的办学成果，培养出一大批日后成为国内外知名音乐家的优秀学生，成为我院及全国各音乐院校后备人才的重要培养基地。
　　学院历来重视师资队伍建设。在学院发展的各个历史时期，始终有一批国内著名乃至国际一流的教授领衔于各个学科，如建校初期的外籍教授查哈罗夫、富华、苏石林、齐尔品以及国内著名音乐家萧友梅、黄自、周淑安、应尚能、贺绿汀、丁善德等。新中国成立后，大批学子从海外学成归来选择上海音乐学院作为报效祖国的平台，除了原有一批活跃于教学一线的著名学者为学科带头人以外，学院加大人才引进力度，广纳贤才，将国内外杰出的专家学者吸收到学院的教学和管理岗位上来，为上海音乐学院的发展奠定了厚实的基础。