公元17年，南方荆州发生饥荒，百姓只能到沼泽地挖野荸荠充饥。人太多而野生菱角太少，这就导致了竞争。新市（今北京东北、湖北省山东省）有两个名人，一个叫王匡，一个叫王丰，出来与农民调解，得到了农民的拥护。大家都推荐他们为领导。

王匡、王丰组织这些饥饿的百姓起义。数百人一下子聚集了过来，一些逃犯也过来加入了他们的行列。

王匡等人占领绿林山（户田湖北省大洪山）为根据地，占领了附近的村庄。不到几个月的时间，这支起义军就壮大到了七八千人。

王莽派两万官兵围剿绿林军，绿林军大败而逃。绿林军趁势攻占数个县城，开监狱释放囚犯；官仓里的粮食有一部分分发给了当地的穷人，大部分则转移到了绿林山。逃往绿林山的贫民越来越多，起义军也增加到了五万多人。

第二年，绿林山不幸发生疫情，五万人几乎死了一半。另一半则不得不离开绿林山，后来又分为三路：新市兵、坪林（今湖北睢县东北）兵、峡江（长江流域）。鄂西以下称下江）兵。这三组各自占据了一块地盘，队伍再次变得强大起来。

当南方的绿林军攻击荆州官兵的时候，东方的起义军也日益壮大。琅琊海曲（今山东省日照县）有一位姓卢的老太太。她的儿子是县里的一名公务员。他因不肯听从县令，殴打无钱纳税的穷人，被县令杀害。这引发了公众的愤怒。数百贫农奋起为卢母子报仇，杀了县令，随卢母逃往黄海。一有机会，他们就上岸与官兵作战。

此时，另一起义首领范崇率领数百人占领泰山。卢母死后，她的部下投奔了范崇的起义军。在不到一年的时间里，它人数增至万余人，往来青州、徐州，攻击官府和地主。

范崇的起义军纪律非常严明，规定谁杀了老百姓就处死，谁害了老百姓就受到惩罚。因此，人民可以支持他们。

公元22年，王莽派太师王匡（与绿林军王匡同）、将军连丹率领十万大军镇压范冲起义军。范冲准备与官兵一起战斗。为了防止叛军士兵与王莽士兵混在一起，范崇让部下把眉毛涂成红色，以示识别。就这样，范崇的起义军又得到了另一个名字，“赤眉军”。

王莽的军队与赤眉军发生了一场战斗。结果官兵大败，大都逃跑。王匡大师大腿中弹被范冲逃回；将军连丹在叛乱中被杀。赤眉军越战越强，发展到了十万多人。

绿林和赤美两支起义军分别在南方。方、东方击败王莽军队的消息一传开，其他地方的农民也纷纷活跃起来。黄河两岸的平原上，有大大小小的叛军数十支。一批没落的贵族、地主、权贵也趁机起兵反对王莽。

南阳县崇陵乡（今湖南宁远北）权贵刘（yǐn）、刘秀兄弟因王莽废除汉室宗号、不准刘姓人为官而心怀怨恨。他们动员族人和宾客七八千人在崇陵乡起兵。他们联手带着绿林军三团，接连击败了王莽的几名将领，气势更加强劲。

绿林军的几支队伍没有统一指挥。士兵们认为人太多了，需要一个领导来统一命令。一些出身于贵族地主的将领利用了当时一些人的正统思想，认为必须找一个刘姓的人作为自己的领袖，才能满足民心。

绿林军里有很多姓刘的人。应该推荐谁作为领导者

仲陵兵欲将刘氏推走，新市平林兵将领又怕刘氏势力过大，决定立破贵人刘玄为帝。刘氏也在消灭王莽、平定赤眉军后提出立帝，但这也是反对的。奥塞德。刘觉得自己实力不够，只好答应了。公元23年，绿林军各界将士正式拥立刘玄为皇帝，恢复汉朝国号，年号“更始”，因此刘玄也被称为更始皇帝。更始帝拜王匡、王封为太公，刘为司徒，刘秀为太常将军，其他将领也有各自的爵位。

从此以后，绿林军也被称为汉军。