秋葉三郎重信が仁治元年(1240年)に築城したのが始まり。関ヶ原の戦いの後は、徳川幕府が城番(じょうばん)を置き支配の拠点にした。小堀正次・征一親子の修築を経て、水谷勝宗による天和年間(1681年~1683年)の大修築で天守が建造されるなど近世城郭に整えられた。
城のある臥牛山(がぎゅうざん)は、 中国山地と瀬戸内海とを結ぶ交通の要衝を見下ろす場所にあり、毛利家などの城塞として機能していた。日本三大山城の一つに数えられている。
城郭構造は連郭式山城。城跡は国の史跡に指定されている。
現在の天守は複合式望楼型二重二階、現存天守の中では最も小さい。江戸時代以前に建造された天守が残る現存12天守の一つ。現存天守12城の中で山城の形態をとるのは備中松山城だけなので「天守の残る唯一の山城」になる。
現存する天守、二重櫓、土塀の3棟は国の重要文化財に指定されている。
再建された建造物は、本丸南御門、東御門、腕木御門、路地門、五の平櫓、土塀など。
別名は、立地している地名から高梁城(たかはしじょう)。
愛媛県にある松山城などと同名なので、備中松山城(びっちゅうまつやまじょう)と呼ばれている。
標高430mの臥牛山に建つ備中松山城は、秋から春にかけての早朝には雲海が一面に広がり、条件によっては雲海に浮かぶ備中松山城を見ることができる。