陕西农民起义之后不久，就开始小规模地越过黄河，进入山西。开初是倏来忽去，后来由于山西地方当局借口“防盗”，下令闭粜，禁止把粮食运进有起义农民活动的灾荒地区。这样，陕西起义农民强行渡河入晋就不断增加。
起义军大规模地进入山西是在崇祯三年。从这年二月开始，老回回马守应、八金刚、王子顺、上天猴等部渡过黄河，攻克了蒲县。然后分兵两路：东路沿赵城，洪洞、汾州，霍州一线；西路沿石楼、永和、吉州、隰县一线活动。十月二十八日，由于饥民的内应，起义军占领了晋西北重要城镇河曲，控制了黄河渡口。由于明政府改变了以抚为主的政策，调集大军由新任陕西三边总督洪承畴指挥，加紧了对陕西农民军的追剿。在军事上受到压力的各部起义军，陆续转移到黄河以东。因此，从崇祯四年到六年，起义军活动的重心是在山西境内。除了早先入晋的几支起义军外，王嘉胤、张献忠、李自成、罗汝才等部都先后进入山西。其中实力最强的是王嘉胤部。
起义军的大举入晋，使明政府山西当局深感不安。他们一面调派兵员堵剿，一面指责陕西当局“以邻为壑”，没有将起义军就地歼灭。然而，严酷的阶级对立在山西也同样存在。来自陕西的义军不过起了一种催化作用而已。起义军所到之处，得到了山西贫苦群众的热烈欢迎，大批破产农民涌进了起义队伍；有的州县农民也自发地举行起义。崇祯四年三月，太仆寺卿郑宗周上言：
“盖晋土自天启初年以来，无岁不灾，而去年尤甚。重以沿黄之派，急于星火，转运艰难。在朝廷虽算价二十二万，而民间所费实已不止百万。有司但顾考成，新旧并催，鬻子卖妻，剜心敲髓，民之皮骨已尽。今日春雨未沾（指朝廷分文不予救济），风霾日异，人心汹汹，朝不保夕。弱者转于沟壑，强者嗔目语难。斩揭四起，势所必至。”
另一位明朝官僚则说：“沁（阳）之南暨邑（指阳城县）东西，贼建号树帜者不一而足，或以万计，或数千。既揭竿，胁从者且十五六。至若上党（今长治）、汾水亦不啻几过。”崇祯三年底，一位山西乡绅就指出：“始之寇晋者，秦人也；今寇晋者，半晋人矣。二三月间，从贼者十之一，六七月而从贼者十之三，至今冬而从贼者十之五六矣。”据此，他提出“欲除晋之盗，莫先欲抚晋之贫民。”只知道从农民身上榨取钱财的明政府，根本不愿救济贫民，山西的农民起义日益扩展就是很自然的了。
崇祯四年五月，王嘉胤的队伍进展到晋东南的沁水、阳城一带。明政府虽然派了悍将曹文诏部尾随追击，却因为“贼势甚众，不能取胜。”军事上既然无能为力，官军就转而采取阴谋手段。曹文诏听说部下士卒张立位的姐姐是王嘉胤的妻子，就亲自秘密找张立位谈话，布置他诈降充当内应。王嘉胤在裙带关系面前丧失警惕，竟把这个内奸当作亲信，任用为帐前指挥。六月初二日，张立位同他的姐姐和王嘉胤的部将王国忠串通一气，用酒把王嘉胤灌醉刺死。随即放火为号，同曹文诏部官军里应外合，直扑起义军营垒。起义军大乱，遭到严重损失。王嘉胤手下的右丞白玉柱投降。左丞紫金梁（即王自用）领着余众逃出，会合山西境内的他部义军，声势复振。
史籍记载紫金梁会合的起义军一共有三十六营，众号二十万。这三十六营的首领人物，各种文献记载详略不等。其间也有传闻失实的地方。为了使读者对在山西活动的起义军有一个大致的了解，这里举出当时山西一个乡绅的记载供参考：
“紫金梁其首也，余八大王（张献忠）、扫地王、邢红狼，黑煞神、曹操（罗汝才）、乱世王、闯将（李自成）、撞塌天（当即闯塌天刘国能）、满天星、老回回（马守应）、李晋王、党家、破甲锥、八金刚、混天王、蝎子块、闯王（高迎祥）、点灯子（赵胜）、不沾泥（张存孟）、张妙手、白九儿、一阵风、七郎、大天王、九条龙、四天王、上天猴（刘九思）、丫头子，齐天王、映山红、催山虎、冲天柱、油里滑、屹烈眼（当即革里眼贺一龙）。”
这里需要指出三点：一是各种史籍的作者，对当时农民军的内部组织情况不一定了解得那么清楚，难免发生错误；二是起义军的行动经常在变化，有的队伍时而在山西，时而又返回陕西，更增加了记叙的困难；三是说以紫金梁王自用为首，其实他当时只是各部起义军一种松散联盟的盟主，各部首领的独立性是非常大的。
明政府在确立以剿为主的方针以后，三边总督洪承畴加紧了对农民军的镇压。这时，满洲贵族入侵畿辅地区的军队早已饱掠而还，明廷可以腾出手来了。陕西总兵王承恩、甘肃总兵杨嘉谟等部勤王兵，先后被调回陕参加追剿。官军齐集陕西，农民军就转入山西。洪承畴一面派出官军追剿留在陕西的起义军，一面抽调兵马尾随入晋，配合山西官军夹剿。崇祯四年七月，点灯子赵胜在陕西连续遭到官军的追击，立脚不住，被迫转入山西。洪承畴和部将曹文诏、艾万年追过黄河。九月十八日，赵胜部在晋西石楼县遭到官军的夜袭。由于变生意外，赵胜在匆忙中“裸身提刀欲战”，被官军砍死。
赵胜部虽然遭到挫折，起义军在山西境内却仍然发展很快。各部分头作战，流动不居，使官军疲于奔命。是时，山西的起义军主要活动于三个地区，一是平阳（今晋南临汾一带），一是泽、潞（今晋东南晋城、长治一带），一是汾、太、沁、辽（今晋中地区）。明廷命宣大总督张宗衡驻平阳，统部将白安、虎大威、李卑、贺人龙、左良玉等士卒八千人，负责今晋南、晋东南四十一州县的追剿事宜；山西巡抚许鼎臣驻汾州（今汾阳），统领张应昌、苟伏威、史记、颇希牧、艾万年等部士卒七千人，镇压今晋中地区的义军。由于防区过广，起义军又好比水银泻地，无所不在，官军的追剿很少收到预期的效果。
到崇祯五年，李自成在山西境内的各支起义军中已经崭露头角，成了重要的首领之一。这年八月，山东道御史刘令誉上言：
“有自贼中逃回者言，旧在晋中贼首掌盘子等十六家，最枭獍者为闯将、紫金梁，戴金穿红，群贼效之。遂皆以红衣为号。”
同年七月，“李自成、八大王（张献忠）、老回回（马守应）、紫金梁（王自用）、翻山鹞（高杰）等寇掠蒲县。攻城三昼夜，不克。是夜，贼令精锐三百人袭大宁，三更城陷。八月，自大宁袭隰州，守备高逸开北门遁去。知州杨玮拒守，射伤贼甚多，中流矢坠东城下。贼住城中三日”。攻克隰州、大宁的起义军是否包括李自成、张献忠，马守应、王自用等部在内，史籍记载有分歧；但李自成当时已经是一位重要首领则是可以肯定的。
这年秋冬，起义军向东发展，转战于沁水、阳城、高平、陵川、潞安、长子等地，先后攻克了寿阳、泽州（今晋城）。九月间，李自成等部从晋城南面两省交界处的大口攻入河南。十四日，攻克修武，兵锋直逼怀庆府城。河南乡绅张惶失措，联名上疏请救。朝廷急调昌平镇副总兵左良玉，带领二千多名官军赶赴怀庆。十二月，明宣大总督张宗衡所部官军，尾追紫金梁、邢红狼等部经阳城、泽州、高平、长子，屯留等县境。紫金梁等率部转入山区，官军因连日追剿业已困惫不堪。这时，李自成同八金刚、过天星带领的一路起义军已经由河南修武、怀庆地区北入山西，出现在武乡县境，于十二月二十四日五鼓，一举攻克辽州（今左权县）。
李自成等部的攻克辽州，使明宣大总督张宗衡和总兵尤世禄大出意料。尤世禄在塘报中说：“职所尾之贼系紫金梁等，而闯将等系西河之贼，不知何故放松，令其蹂躏东向。惟恐有破巢覆卵之患，于是不暇顾所尾之贼，急拟走辽州应援，以全疆土。”尤世禄被迫放弃对紫金梁等部的追剿，于十二月二十八日赶到辽州城下。经过两天的围攻，起义军据城展开了顽强的抵抗。尤世禄和他的儿子副将尤人龙都被射伤。后来，李自成等起义军首领为了避免据守孤城为官军围歼，决定夺门而出，且战且走地摆脱了官军的追击。辽州之战是起义军进入山西以后，同官军展开的一次比较重要的战役。这次战役虽然打乱了明政府的追剿计划，使紫金梁等部得以顺利转移，但是李自成等人的一度据守辽州城是不策略的，光是在突围时，起义军战士就牺牲了一千三百人。