小时候罗斯特罗波维奇跟随父母学习音乐。他的母亲是为钢琴伴奏家，他的父亲则师从大提琴家卡萨尔斯。16岁时进入莫斯科音乐学院，跟随普罗科菲耶夫和肖斯塔科维奇学习作曲。1945年，他以大提琴家的身份赢得了苏联青年音乐家大赛金牌，一夜成名。
后来，罗斯特罗波维奇几乎演奏了所有大提琴曲目。并且和西方的音乐家展开了广泛的合作。他那富有魅力的演出令很多作曲家为他着迷，他们为罗斯特罗波维奇写了很多作品。为罗斯特罗波维奇写过作品的作曲家有：布里顿、普罗科菲耶夫、肖斯塔科维奇、梅西安、伯恩斯坦、哈恰图良和布列兹。
1961年，他不顾苏联当局的反对，到西方跟指挥家卡拉扬合作录制柴可夫斯基的洛可可主题变奏曲和德沃夏克的大提琴协奏曲。
1974年，罗斯特罗波维奇举家离开苏联。
1976年，获恩斯特·冯·西门子音乐奖。
2007年4月27日，逝世于莫斯科。