克里姆林本來指的是一個城市中心的堡壘。該詞被認為源自於希臘語，意為「城堡」或「峭壁」；另有說法為該詞源出早期俄語詞「克裡姆」，指一種可作建材的針葉樹.

如今我們所說的莫斯科的克里姆林宮早在12世紀就已有記載，莫斯科奠基者尤里•多爾戈魯基大公在弗拉基米爾公國邊境的一個名為莫斯科的地方修築泥木結構的克里姆林城堡，那便是現在我們所看到的克里姆林的雛形，隨後克里姆林城堡及其周圍逐漸形成若干商業、手工業和農業村落，於是便漸漸有了莫斯科城的雛形，所以通常認為莫斯科城即是由克里姆林擴建而成的，而隨著莫斯科的發展，於1367年改建石牆，而如今我們所看到的克里姆林的模樣，則是15世紀所最後修繕建造的。

今天三角形的克里姆林宮宮牆圍繞著一塊27.5公頃的地面，由六個建築物組成，其中三個是大教堂。