朱元璋率兵返回应天府后，常遇春立即做好攻打衢州城的准备。
把吕公车、仙人桥、长木梯、懒龙爪等攻打使用的器械运到了衢州城下，器械高度差不多与城墙一样高。
又在衢州城西门城下挖通了地道，准备上下一齐进攻。
元军守将宋伯颜不花防御能力及强，他用芦苇杆浇上了油，烧毁了吕公车。
然后用长柄斧头砍断了木梯子，用滑轮秤钩勾走了懒龙爪。
并在城墙内侧脚下筑了防挖穴道进入的隔层，防御部置很周密，他对常遇春的进攻毫不慌乱。
常遇春多次攻打，都无法攻破。后来，采取声东击西，明攻北门，暗袭南门。
宋伯颜不花在南门防御空隙，来不及防备，常遇春从南门攻入了城中，捣毁防御工具，城内元军将士惊慌失措。
院判张斌无能抵抗，派人前往谈判投降，常遇春答应他们提出的条件。
等到半夜，院判张斌打开了西门，迎接常遇春率兵攻进了城中，元军守兵被打败。
宋伯颜不花来不及逃跑，被常遇春活捉，衢州城由此被攻下。
常遇春攻城成功后，返回了宁越府，胡大海挽留常遇春一起驻守宁越府，常遇春不愿意留守。也许是因常遇春攻下了衢州城后，不甘心坐守宁越府吧。
元军参政石抹宜孙，驻守处州城，又派将士到要塞驻守，防御敌人来攻，将士们都玩无斗志。
胡深驻守龙泉，听说胡大海联合耿再成率兵来攻打，知道龙泉保不住，自己就丢下士兵，一个人跑来投降了胡大海。
胡大海问胡深现在处州的详细情况，胡深说防御驻兵薄弱，容易攻打。
胡大海立即率领将士进攻桃花岭、葛渡等寨子，顺利攻下，然后又进攻处州城。
元军参政石抹宜孙出城迎战，打了几个回合后，无能力抵抗，向闽中逃走了。
胡大海率兵进入了处州城，对老百姓进行了安抚。耿再成又率兵攻打建宁七邑，都顺利攻下。
石抹宜孙在召集失散的士兵，准备返回攻打处州，在返到庆元时，遇到耿再成，被耿再杀死。
胡大海立即向应天府上报战况，朱元璋接到战捷后，非常高兴。命耿再成驻守处州城，并做好防御部署，胡大海返回宁越城驻守，并改宁越府为“金华府”。
元至正二十年（公元1360年）三月。
胡大海到处寻求周边的文人儒士，经过走访，得知有四个人才识渊博，并将这四位儒士一一推荐给朱元璋，希望朱元璋能立即征用他们。
朱元璋接到胡大海的推荐后，立即派人带着钱财去聘请这四个人。
其中，有三个已聘请回应天府，他们分别是浦江的宋濂、龙泉的章溢、丽水的叶琛。
另外一个没有请到，这个就是青田有名的儒士，他是江东一带的儒士首席。
这位青田儒士，为什么不愿意接受朱元璋的邀请出山呢？这个人又是谁呢？这个人姓刘，名基，字伯温。
元至顺四年（公元1333年），23岁的刘基一举考中进士，开始步入仕途生涯。
他立志报效国家，由于元朝廷的昏庸腐败，使他20多年的仕途生涯屡遭挫折和磨难，导致他隐归山林。
他学识渊博，又精通天文地理，他是长江以东最出名的人物，被这一带儒士推之为首要人物。