了气候，只有您是位贤明智者，必成大事。我甘愿效犬之力，渡江之日，愿为先锋。”朱元璋见常遇语不凡，很有见识，又态雄壮，便把他留了下来。

渡江之战，常遇果然大显手。船只离岸尚有三丈多远，常遇大喝一声，一跃而上，挥舞长枪，率先冲敌阵。常遇如同猛虎一般，铁枪上下飞舞，者非死即伤，无人能敌。朱元璋军队受此鼓舞，人人奋勇向前，很快将敌军击溃了。

朱元璋见常遇如此勇猛，心中大喜，此后，经常让徐达为主将，常遇为副将，两人共同领兵对敌。徐达沉稳有谋，常遇威猛善战，二人是天生的绝。

常遇比徐达大两岁，但他佩服徐达，甘愿听他指挥。因此，两人团结一致，密切合，几乎战无不胜。在开辟以南京为中心的据地过程中，常遇立下了汗功劳。

常遇有时也独自率军战，公元1359年，朱元璋命常遇领兵攻取衢州。衢州城池固，垒森严，守将叫伯颜不的斤，是元朝名将，守城元兵有一万多人。常遇率军到达后，将六座城门团团围住，利用吕公车、仙人桥、长木梯、懒龙爪等攻城械，猛烈攻城。常遇不顾箭矢，先士卒，有力地鼓舞了士气。经过多日激战，终于攻破城池，消灭了元军。此后，元军在江南的势力基本上崩溃了。

公元1360年以后，元朝失去了对南方的统治，南方只剩下大大小小的起义军了。朱元璋通过采取“筑墙，广积粮，缓称王”的策略，势力迅速扩大，于是，他便开始扫灭群雄，统一江南。

在与陈友谅的战争中，朱元璋多数时候让徐达镇守南京，自己率军亲征，而任用常遇打先锋。在著名的鄱湖大战中，陈友谅依仗战船大，对着朱元璋军队的船只横冲直撞。朱元璋军队一时不能适应，船只被撞得七零八落，了阵形。

在混战中，朱元璋乘坐的船搁浅，动弹不得。陈友谅的士兵见了大喜，纷纷赶来围攻。陈友谅的大将张定边声大叫，一当先，向朱元璋船只冲杀过去。朱元璋于危险之中。

常遇见了，心中大急，赶去救。常遇令士兵一齐放箭，箭如雨下，阻止了敌军向朱元璋靠近。常遇瞄准了张定边，一箭去，张定边负伤倒下，致使敌军军心涣散。

常遇见朱元璋的船搁浅不能动，急中生智，用自己的船去撞，终于使朱元璋的船脱离了险境。但常遇的船却因此搁浅了，恰巧有只坏船顺而下，把常遇的船撞了浅滩。

后来，朱元璋军队采用火攻，大败陈军，陈友谅也中箭而死。在消灭陈友谅战争中，常遇居功第一。朱元璋夸赞说：“当百万众，摧锋陷，莫如常将军。”

常遇没有读过兵书，却很会打仗，几乎没有失败过。常遇打仗有一个特，喜猛打猛冲，他常常不惧刀枪，率先冲锋。常遇常对人说，他带领十万兵，便可以横行天下，因此，军中送他外号“常十万”。

朱元璋很担心常遇的安全，多次对他说：“克敌在勇，全胜在谋。昔日，关羽号称万人敌，却被吕蒙所败，是因为有勇而无谋。你应该引以为戒。”

公元1367年，徐达、常遇率军北伐。朱元璋叮嘱常遇说：“击溃敌百万之众，攻破敌固阵地，无人能比得上你常将军。我不担心你不能打胜仗，而是担心你的安全。你为大将，却像士兵一样冲锋陷阵，这不是我希望的。”常遇受动，跪下拜谢。

可是，战鼓一响，常遇血沸腾，就不住自己了。在北伐战争中，有一次，五万元军排列在洛以北，常遇见了，勇气大增，单枪匹冲向敌阵，转之间，二十多名元军死于他的枪下。将军带冲锋，手下士兵自然奋勇向前，元军大溃。常遇不肯罢休，带领士兵一气追杀了五十余里。