中国共产党成立不久，就有共产党员在甘肃开展革命活动。中国共产党在甘肃最早建立的组织是中共甘肃特别支部。1924年，冯玉祥在北京发动政变，在苏联顾问团和中国共产党的帮助下，冯玉祥开始倾向革命，在国民军中设立了政治部，一大批共产党员和革命青年进入革命军，充任政治干部。1925年10月，国民军第二师师长刘郁芬受冯玉祥派遣，率兵来至兰州任甘肃代理督办。作为国民军政治干部的共产党员宣侠父，钱情泉、贾宗周等同志也随军来到兰州，与在兰州的共产党员张一悟同志会合。1925年冬，在兰州的共产党员根据党的指示，正式成立了中共甘肃特别支部，由张一悟任支部书记，钱啃泉、宣侠父任支部委员。
中共甘肃特别支部成立后，首先在军队和学校中宣传马克思列宁主义，宣传十月革命的经验，举办民众夜校和甘肃政治训练所，先后在兰州挑水、理发行业工人中建立工会组织，发动群众开展反帝反封建的革命斗争，并且吸收了一批青年知识分子入党，壮大了党的队伍。
接着，特别支部派宣侠父、贾宗周向甘南藏族首领黄正清、罗占彪宣传党的民族政策，帮助他们开展反对反动军阀统治的斗争。1926年春，在中共甘肃特别支部的帮助下，兰州成立了“藏民文化促进会”，有力地推动了藏族群众的革命斗争。
1926—1927年春，中共甘肃特别支部领导在兰党员，团结国民党左派人士，开展了反对以田昆山为首的国民党甘肃右派势力的斗争，不断打击右派势力的气焰，最后把田昆山等反动分子赶出了国民党省党部，由共产党员和国民党左派掌握了国民党省党部的领导权。
以田昆山为首的国民党右派势力不甘心失败，直接向冯玉祥告状。于是，冯玉祥一方面电令刘郁芬撤销宣侠父、钱啃泉的职务，将其押解陕西；另一方面命令国民军西北政治分会主任刘伯坚派人调查甘肃省党部的问题。刘伯坚派共产党员胡廷珍、马凌山、保至善、王孝锡4人为特派员，来兰整顿国民党省党部的党务。
胡廷珍等同志到兰州后，整顿了国民党甘肃省党部，加强了共产党对甘肃革命斗争的领导；同时，组织改选了中共甘肃特别支部，由胡廷珍任书记，王孝锡任组织部长，马凌山任宣传部长，支部成员有保至善、贾宗周、张一悟，王陶、秦仪贞等，并且发展了党员10多人。
第二届中共甘肃特别支部，加强了对农民运动和青年工作的领导。他们先后在兰州附近地区、县组织建立了农民协会10余处，在兰州成立了青年社，选举产生了以王孝锡为社长，马凌山为书记，王友章、王陶为委员的青年社领导机构。创办了《妇女之声》，团结了一大批青年，扩大了党的影响。
1927年4月，蒋介石发动反革命政变，冯玉祥开始倒向蒋介石。6月，他下令解散辖区内的共产党组织，“礼送”共产党员离开国民联军。接着，公开镇压共产党人，王孝锡、胡廷珍、保至善、马凌山等共产党员被迫离开兰州。在甘肃先后有20多名共产党员遭到逮捕和杀害，中共甘肃特别支部最终被敌人破坏了。
王孝锡、胡廷珍离开兰州以后，辗转回到宁县，由王孝锡同志负责成立了中共宁县支部，领导人民继续开展革命斗争。胡廷珍同志奔赴河州(临夏)，组织党的支部，继续开展革命工作。1928年10月，王孝锡被捕，胡廷珍被迫前往新疆，中国共产党在甘肃的地下工作陷于停顿，甘肃的革命斗争暂时陷入低潮。
中共甘肃特别支部被敌人破坏后；党在甘肃的地下工作，一度由中共陕西省委直接领导。这期问，中共陕西省委遵照中共中央1927年8月7日在汉口会议上制定的关于武装反抗国民党反动派的总方针，先后组织活动在甘肃各地的党员举行几次武装起义。其中影响较大的是两当起义、靖远起义和西华池起义。
1923年2月，驻防在陕西凤县的国民党第十七路军警备第二团第一营，奉命去甘肃徽县换防。途经甘肃两当县时，一营中的共产党员吕剑人、习仲勋、许天杰等，根据陕西省委的指示，带领部队起义。部队起义后，组成陕甘游击队第五支队，开始向北进发，准备与刘志丹领导的陕甘游击队会合。起义部队经过陕西麟游、乾县时，被土匪王结子部打散。
1932年初，中共陕西省委派谢子长、焦维炽等人到靖远，在国民党第三旅中做兵运工作。他们先后于是年5月和6月连续举行武装起义，成立了陕甘工农红军游击队，由姜耀任大队长，谢子长任政委，杜润滋任参谋长，邬逸民任秘书长。这支起义部队一直坚持战斗到7月，最后被国民党马鸿宾部打散。
1932年7月，在国民党新十一旅中工作的共产党员李树林、高鹏飞等人，在西华池发动了一次武装起义，起义部队很快同陕甘游击队骑兵大队胜利会师，并改编为陕甘游击队第三大队，由高鹏飞任大队长，阎润年任政委。
在举行武装起义的同时，共产党在甘肃的力量不断发展，新的基层组织也陆续建立。到1931年底，仅兰州一地，就有共产党员约200余人。1932年冬，根据形势的需要，中共陕西省委决定成立中共甘宁青特委。是年12月，中共甘宁青特委在兰州正式成立，曲吴鸿宾任书记，孙作宾、常黎夫、李慕愚、马豫章为委员。孙作宾还兼任了党的军委书记。特委把甘肃作为工作重点，面向宁夏、青海，着重发展党的组织，领导武装起义。
中共甘宁青特委成立后，首先组织分散各地的游击队员，于1933年2月在靖远成立了西北抗日义勇军。接着，特委又领导了兰州北水门起义。1933年5月，蒋介石调集甘、宁、青三省的部分军队，组成“三省联军”，“围剿”西北抗日义勇军。在敌人的重兵包围下，西北抗日义勇军经过浴血奋战，200多人壮烈牺牲，大部分领导人被俘。
西北抗日义勇军失败后，中共陕西省委为了加强甘宁青特委的工作，派梁干丞、张德生参加了特委的领导班子，由梁干丞担任特委书记。是年7月28日，陕西省委书记杜衡在西安被捕后叛变革命，向敌人提供了甘宁青特委的情况。7月底，甘宁青特委的一些活动点、联络点遭到敌人的查抄，共产党员梁干丞、谢冠军等被捕，其他特委领导成员被迫离开兰州。甘宁青特委的工作陷入停顿状态，中国共产党在甘肃的地下工作，再次进入低潮。
1937年“七七”事变爆发后，中共中央为了开辟甘肃的工作，发动抗日救亡运动，组织抗日民族统一战线，一方面指示早巳来兰州营救红军西路军失散人员的彭加伦、张文彬等同志开展抗日活动，另一方面又派谢觉哉同志来兰州工作。同年8月，中国工农红军改编为国民革命军第八路军，中共中央立即在兰州设立了八路军办事处，先后任命彭加伦、伍修权为处长，谢觉哉为中共中央和毛泽东的驻兰代表。同年八九月间，中共甘肃工作委员会(简称甘肃工委)在兰州成立，由孙作宾任书记、罗云鹏任副书记，领导成员还有刘南生(又名刘日修)、郑重远、刘杰等。甘肃工委是党在甘肃的地下组织，并无合法地位，因此不能公开活动。它和八路军驻甘办事处有密切关系，在工作上接受指导，但不能公开来往。这两个组织采取公开斗争和秘密斗争相结合、合法斗争和“非法”斗争相结合的方式，共同担负起了领导甘肃人民开展革命斗争的重任。
随着中国共产党在甘肃领导力量的加强。党在甘肃的地下工作出现了一个崭新的局面，党领导下的抗日救亡运动也得到了迅速发展。首先，各种抗日救亡团体纷纷成立。从1937年秋到1939年，在八路军驻甘办事处的影响下和促进下，在中共甘肃工委的领导下，兰州等地先后成立了甘肃青年抗战团、省外留学生抗战团、伊斯兰学会、回民教育促进会、妇女后援会等抗日救亡团体。这些团体先后出版发行了《抗战生活》、《甘肃青年》、《热血周刊》、《妇女旬刊》、《回声》、《战号》等报刊，同时利用出墙报、演戏剧等形式，开展了一场声势浩大的抗日救亡宣传活动。其次，中共甘肃工委组织领导了以甘肃学院、兰州中学、兰州师范等校师生为主体的学生运动和青年运动。第三，党的基层组织得到迅速发展，党员人数不断增加。仅1939年，就发展党员200余人，兰州的大、中学校和一些厂矿，建立了党支部或党小组，靖远、徽县、两当、天水、平凉、武威等地，也建立了党支部。八路军驻甘办事处和中共甘肃工委还互相配合，通过各种渠道把一些革命青年送往延安参加革命。
1939年初，中共甘肃工委书记孙作宾撤回陕甘宁边区后，中共中央派李铁轮来兰担任工委书记。1939年底到1940年上半年，国民党蒋介石掀起抗战以来的第一次反共高潮，兰州的国民党右派到处搜捕共产党员和进步人士。1940年6月，中共甘肃工委的主要负责人罗云鹏、李铁轮等秘密开会时，被国民党特务逮捕。
中共甘肃工委机关被国民党破坏后，工委工作暂时由郑重远同志负责。由于被捕的工委负责人罗云鹏等同志坚贞不屈，严守党的机密，党在兰州、榆中、靖远、皋兰、徽县、成县、天水、武都和河西等地的基层组织没有遭到破坏，仍在继续开展工作。这一时期，中国共产党在甘肃的地下工作的主要内容是巩固和保存力量。同时，党的工作重点由城市转向了农村，工委加强了对工农运动的领导。1941年夏天，郑重远回到延安，中共甘肃工委的工作暂时由罗杨实同志负责。
1942年秋天，中共中央西北局决定重建甘肃工委，领导机关设在陕甘宁边区的庆阳，工委书记仍由孙作宾担任。此后一段时间内，由于中共甘肃工委领导机关设在边区，特别是1943年以后，随着八路军驻甘办事处撤回延安，甘肃基层党组织的一些领导骨干也相继回到边区。中国共产党在甘肃白区的工作，基本上陷于停顿状态。
1946年春天，中共中央为了使党在白区的工作适应新的形势，在国民党蒋介石发动的反共反人民的全面内战中获得最后胜利，决定建立中共甘(肃)宁(夏)工委，由朱敏任书记，孙作宾任副书记。时隔不久，两省工委又分设，中共甘肃工委由孙作宾任书记，陈成义任组织部长，陆为公为宣传部长，丁志明任军事部长，薛浩平任社会部长。
从1946年开始，中共甘肃工委遵照中央指示，派干部深入甘肃各地，着手恢复和整顿基层组织，发展党的力量。经过一段时间的努力，不仅恢复了原来的基层组织，而且在各地新建了一批党组织，。并在全省成立了5个工委，即：陇右工委，由陈致中、牙含章、万良才负责，陇南工委，由高健君、吴治国负责，平东工委；由张可夫、孙元德负责，皋榆工委，由罗杨实、窦志安、张生强负责，西海固工委，由赵崇德负责。据统计，截止1948年，陇南地区共建立党支部130多个，有党员2300多人，平东地区共建立党支部180多个，有党员3600多入，陇右地区共建立党支部120多个，有党员1100多人。同时，中共甘肃工委开始了迎接解放的准备工作。在农村，组织了不少游击队，不断袭击国民党的地方部队，配合中国人民解放军的大规模进军，在城市，发动群众开展“反饥饿、反内战、反迫害”的爱国民主运动，在国民党地方部队中，进行大量的策反工作，发动他们和平起义，武装暴动，参加中国人民解放军。特别是在解放大军逼进的城市和乡村，地下党组织一面发动群众开展护矿、护厂、护校斗争，一面组织群众开展支前工作，配合解放军的军事行动，迎接解放，支援大军西进。
1949年，国民党反动政权濒临灭亡，甘肃境内的国民党统治区进入了黎明前的黑暗时期。越是临近解放，国民党越是强化法西斯统治，他们疯狂迫害共产党人和进步群众，大批的其产党员和进步群众被逮捕，被杀害。但是，甘肃各族人民并没有被白色恐怖所吓倒。他们在中共甘肃工委的领导下，坚持斗争，迎来了解放。
