1930年秋，刘志丹、谢子长等共产党员在陕甘边经过艰苦的兵运工作，建立了一支300余人的武装。1931年7月，这支部队被平凉军阀陈硅璋部打散。当时，根据刘志丹的意见，这支部队的三位连长杨丕胜、赵连璧、贾生才分别带领部分人员，分散开展武装活动。到1931年9月，杨丕胜以合水县平定川为立足点，赵连璧以贾家沟圈为据点，招集饥民和从军阀队伍中逃出来的散兵，各拉起一支200余人的队伍；贾生才则以合水县蒿嘴民团团总的身份，招募饥民、壮丁，也拉起一支100余人的武装。这时，刘志丹为建立南梁革命根据地，在对南梁山区经过两个多月的艰苦考察之后，来到了杨丕胜队伍的驻地南梁葫芦河畔的稻水湾。刘志丹根据建立南梁革命根据地的设想和南梁地区革命形势发展的需要，决定三支队伍在稻水湾集结整编。
不久，赵连壁和贾生才分别带领队伍来到稻水湾，同杨丕胜的队伍汇合。在刘志丹的领导下，三支队伍进行了整编。这就是陇东革命斗争史上着名的“稻水湾整编”。通过整编，建立了陕甘边第一支由共产党直接领导的独立的革命武装——南梁游击队。游击队下设3个营，刘志丹任总指挥，赵连璧任第一营营长，杨丕胜任第二营营长，贾生才任第三营营长。
南梁游击队一成立，就遭到了敌人的“围剿”。在刘志丹的指挥下，游击队击溃了前来“围剿”的惯匪张廷芝的1个骑兵连和合水县民团，缴获敌人不少武器、马匹。同时，陈琏璋部营长张天禄率领1个连战场起义，参加了南梁游击队。
南梁游击队首战告捷，队伍壮大，士气大振，把陕甘边的革命武装斗争推向了一个新阶段。1931年秋，南梁游击队与晋西游击队和商贩武装在南梁林锦庙胜利会师。1932年1月，根据中共陕西省委的指示，会师部队改编为西北反帝同盟军，谢子长任总指挥，刘志丹任副总指挥，杨仲远任参谋长。是年2月，部队又改编为中国工农红军陕甘游击队。12月，推行“左”倾路线的中共陕西省委书记杜衡强令撤销了谢子长、刘志丹的职务。陕甘游击队改编为中国工农红军第二十六军第二团，由王世泰任团长，杜衡自任政委。
1933年4月，中共陕甘边特委在陕西照金召开陕甘边工农兵代表大会，选举产生了陕甘边革命委员会，着手建立照金根据地。1933年5月，杜衡又强令红二十六军第二团放弃照金根据地，进军谓华地区，结果几乎全军覆没，杜衡也叛变了革命。
红二十六军第二团去了渭华地区，留在照金的中共陕甘边特委又组建了红二十六军第四团。7月21日，驻防陕西耀县的西北军骑兵团在团长王泰吉领导下起义，成立了西北民众抗日义勇军，来到照金根据地。8月20日，陕甘边特委召开党政军联席会议，成立了陕甘边红军临时指挥部，由王泰吉任总指挥，高岗任政委。10月初，刘志丹、芏世泰率红二十六军第二团余部来到照金，刘志丹出任红军临时指挥部副总指挥兼参谋长。
1933年11月，红军临时总指挥部在甘肃合水县召开联席会议。会议根据刘志丹的建议，决定恢复红二十六军，建立以甘肃华池县南梁为中心的革命根据地。11月7日，红二十六军四十二师在合水县莲花寺成立：王泰吉任师长，刘志丹任副师长兼参谋长，高岗任政委。随后，刘志丹等领导红军着手建立南梁革命根据地。
1934年2月，南梁根据地工农兵代表大会在四合台召开，会议选举成立了陕甘边革命委员会，由习仲勋任主席，白天章任副主席，下设土地、劳动、财政、粮食、肃反、军事、文化等委员会。至此，南梁根据地的第一个革命政权正式成立了。
陕甘边革命委员会成立后，在中共陕甘边特委的领导下，立即在吴堡川、脚扎川、白豹川、柔远川开展群众工作，先后成立了农民联合会、赤卫军大队。1934年3月，国民党军队集结8个团的兵力分八路对南梁根据地发动了第一次“围剿”。刘志丹、杨森等率领红军主力转移外线作战，革命委员会领导游击队掩护群众，打击敌人，很快粉碎了敌人的“围剿”，同时也壮大了革命武装，赤卫军发展到了18个大队。是年7月，谢子长率领陕北游击队和赤卫军来到南梁，与红二十六军会合。10月28日，红二十六军在阎洼子召开会议，会议决定由谢子长接替原由高岗担任的红二十六军四十二师政委职务。第一次反“围剿”胜利后不久，南梁根据地扩大到东至洛河川，西至柔远川，南至葫芦河，北至白豹川的一大片地区。
随着南梁根据地的巩固和发展，陕甘边工农代表大会于1934年11月1日在荔园堡召开。会议通过了关于政治、军事、财政、土地、粮食、教育等决议，选举产生了陕甘边苏维埃政府，由习仲勋任主席，牛永唧、贾生秀任副主席。苏维埃政府下设劳动、土地、财政、粮食、肃反、工农检查、文化、妇女等委员会和赤卫军总指挥部。同时，成立了陕甘边革命军事委员会，由刘志丹任主席。这次会议后，中共陕甘边特委、苏维埃政府、军委机关，都驻进南梁寨子湾。
与此同时，华池、赤安、庆北、合水等县的苏维埃政府也相继成立，并且在广大乡村也建立苏维埃政权，建立了贫民团、农会、赤卫军和工、青、妇、儿童团等各级群众组织。在苏维埃政府领导下，根据地的土地革命也迅速开展起来。同时，还成立了陕甘边银行，发行了苏维埃边币，创办了《布尔塞维克的生活》、《红色西北》等报刊。
1935年2月，蒋介石调集陕甘宁晋绥五省的国民党军队4万余人，对陕甘革命根据地发动第二次“围剿”。在中共陕西特委和陕甘边特委的统一领导下，根据地军民经过5个多月的浴血奋战，不仅粉碎了敌人的第二次反革命“围剿”，而且解放了安定、延长、延川、安塞、靖边、保安等六座县城，使以南梁为中心的陕甘边根据地连成了一片，从而发展成了一个有20余县，入口过百万的陕甘革命根据地。不久，红二十五军和党中央直接领导的红一方面军先后到达这里，陕甘根据地成了中国革命的中心。在党中央的领导下，陕甘革命根据地开始进入一个崭新的历史阶段。
