Muzeum zostało założone w 1919 roku, ale idea jego powstania sięga co najmniej lat 60. XIX w. i pierwszych prób utworzenia tego typu placówki w carskiej Rosji. W 1901 roku, z inicjatywy cara Mikołaja II, resort wojny przygotował projekt specjalnego rozporządzenia powołującego taką placówkę. Wybuch najpierw wojny rosyjsko-japońskiej w 1905 roku, a następnie I wojny światowej i rewolucji pokrzyżowały te plany. Ostatecznie muzeum powstało dopiero po przejęciu władzy przez bolszewików, w 1919 roku jako wystawa pt. Życie Armii Czerwonej i Floty, która z inicjatywy Trockiego w 1923 roku uzyskała status stałego muzeum.

Muzeum zaprzestało działalności w okresie czystek stalinowskich w armii lat 30. (kiedy to większość jego pracowników została aresztowana) i w okresie wielkiej wojny ojczyźnianej w latach 1941–1945.

Olbrzymie trofea wojenne o charakterze muzealnym (blisko 250 tys.), jakie Armia Czerwona przejęła w wyniku upadku III Rzeszy, potrzeba ich przechowywania oraz eksponowania i względy propagandowe, wymusiły na władzach ZSRR poważną rozbudowę muzeum, która ostatecznie zakończyła się w 1965 roku, kiedy to placówka uzyskała swoją obecną siedzibę przy ul. Armii Radzieckiej 2.

Swoją obecną nazwę – "Centralne Muzeum Sił Zbrojnych" – placówka nosi od 1993 roku.