虽然解决了“干什么”的问题，但在“怎么干”的问题上，以西乡隆盛为首的势力主张先征服朝鲜，再图中国的对外扩展方针，他们因此被称为“征韩派”；但是从欧美考察回国的岩仓使节团在见识过欧美列强实力后，深知当时的日本还没有出兵朝鲜的实力，解决内政才是当务之急。这样，西乡派和归国后的维新派围绕着“库页岛问题”、“征韩问题”、“征台问题”进行了激烈的斗争。最终，西乡隆盛的萨摩征韩派失利，1873年，西乡辞职回乡，退出了明治政府。而这一次的退出，也奠定了西乡隆盛在当时日本国内反对派领袖的地位，也为之后的西南战争埋下了伏笔。
明治政府逐步废除士族特权，本就引发了士族的不满，而对外战争暂时被否决，向海外转嫁危机的途径也被堵死，士族宣泄不满的途径就剩下反对明治政府一条路了。而西乡的下野，使不满的士族们有了精神领袖和实战指挥官，让不平士族们的基层和高层得以结合，时局发展到这一步，西南战争已是不可避免了。
1877年1月29日夜，萨摩藩鹿儿岛，一群身着学生制服的人突然袭击了草弁田弹药库，抢走了里面的武器弹药。几天后，也就是1877年2月3日，鹿儿岛警察局拘捕了来自中央政府的密探，并得到其要刺杀西乡隆盛的情报。就此，整个萨摩藩的反抗情绪被彻底点燃了。
1877年2月，旧萨摩藩士族推举西乡隆盛为首领，发动了针对明治政府的武装叛乱。
2月21日在熊本城南的川尻，萨军先头部队与熊本镇台兵发生冲突，打响了西南战争的第一枪。
在2月13日正式举兵以前的2月6日，萨军就召开了一次作战会议，会上否决了西乡隆盛之弟西乡小兵卫提出的占领长崎以保证物资供应、阻止官军从水路攻击，并趁熊本镇台援救长崎时占领熊本，以期完全控制九州的提案，直接强攻熊本城。
朝廷方面对叛乱也有所防备，2月6日，陆军卿山县有朋就密令熊本镇台防备鹿儿岛暴动，12日又与伊藤博文（政府参议、工部卿）、川村纯义（海军大辅）进一步商议出兵，经太政大臣三条实美同意后进行了编制讨伐部队的准备。19日天皇颁布敕令，正式组成了由两个旅团编成的“征讨军团”，任命有栖川宫炽仁亲王为征讨总督，山县有朋陆军中将、黑田清隆陆军中将、川村纯义海军中将任参军。后征讨军团增至8个旅团，总计有步兵55个大队，炮兵6个大队，工兵1个大队，另有辎重兵、骑兵和其他部队，合计58858人。海军出动19