甘肃古称“陇西”、“陇右”。战国秦昭襄王（公元前280年)始置陇西郡。因地处陇山以西而得名。那事饿陇西郡比现在的甘肃要小的多。仅辖洮河中游渭河上游，汉水上游的部分地区（也就是甘肃以东的部分地区。
唐代置“陇右道”，辖今陇山以西，青海以东，新疆以东地区。古代以“西”为“右”，故名“陇右”从那时起“陇右”即成为甘肃的特称。
“甘肃”作为一个名称词出现在北宋西夏时期。西魏时始改张掖郡为甘州，以境内的甘峻山得名。隋时改酒泉郡为苏州。唐末宋初，古羌族的一个分支党项族在西北崛起，形成强大的割据势力。宋仁宗天圣六年（1028）党项王李元昊攻取甘州。1036年攻下瓜、沙、肃诸州。迅速控制了全部河西走廊和黄河以东部分地区。
1038年李元昊正式称帝，国号大夏，因在宋之西方，史称“西夏”。李元昊遂分国内诸州计之总兵50余万。设立12个监军司。实行区域性统治。其中“甘肃军司驻甘州”。甘肃一词始见于史册。“甘肃”一词合“甘州”、“肃州”首字而得。但这时的甘肃军司尚不是政区建置，辖区也限于甘、肃两州。
甘肃的正式建制始于元代。13世纪初。蒙古族杰出的英雄成吉思汗统一蒙古草原并建立政权以后，鉴于河西走廊独特的战略地位和优越的自然条件，发动了进攻西夏的战争。1227年灭夏。
甘肃虽设于元代，但建置和行政区划的完成则在清代。
1950年1月，甘肃省人民政府在兰州成立。
1954年8月，政务院决定将宁夏并入甘肃省。
1958年3月，全国人大一届四次会议决定设立宁夏回族自治区，将宁夏从甘肃划出。