军省法官部长。
甲午战争开始后，任大本营留守参谋长兼临时检疫部长，积极策划侵华战争，被称为“日清战争的萧何”。
日军攻陷平壤和黄海海战后，由于掌握制海权后，立即组编侵华日军第二军。
由于陆军大臣大山岩出任第二军司令官，他于是成为实际上的陆军大臣，对日本侵华战争，从兵力部署到物资辎重，无一不躬行实践。
1895年8月20日，日本天皇赐其金鸱勋章及旭日重光章，并授予男爵爵位。后擢任第3师团长、内务大臣。
甲午战争后，日本强迫清政府签订《马关条约》，台湾及澎湖列岛被割让于日本。
当时日本为了迅速平定台湾，采取了剿抚并用的手法。
但前三任台湾总督桦山资纪、桂太郎、乃木希典都没能控制住台湾，在乃木希典看来，日本统治者得台得不偿失，军费开支每年高达700万日元，除了台湾的税收之外，日本还从甲午战争中国的赔款中拿出1千2百万对台湾进行军费补助。
庞大的经费开支使日本不但没有从台湾的割让中得到实际利益，反而成了日本的沉重包袱，萌生出卖台湾的构想，并说动了当时的首相松方正义。
经过一系列幕后活动，初步决定以1500万法郎（一说一亿日元）把台湾卖给法国。
1898年，伊藤博文重新成为日本首相，在他主持召开的军政要员会议上，乃木希典正式提出了他的卖台论，日本外务省也坚决支持日本的卖台主张。
儿玉源太郎起立发言反对说：“我认为，台湾系日本南部的屏障，军事价值甚大，不能卖给法国。当初为了得到台湾，我们费了那么大的力，死了那么多的人。如果将台湾卖给他国，从长远看划不来。至于乃木总督提到台湾不好治理的问题，我觉得不是台湾不好治理，而是我们管理的官员无能。如果首相觉得政府中找不到治理台湾的总督，我愿前往。”
儿玉到任后，立即在台湾推行了一系列新的殖民措施：在军事上，儿玉源太郎残酷镇压台湾同胞，他实行了保甲制度，推行连坐法。杀人无数。
但是，另一方面，儿玉又采取“皮鞭之外”加“糖”的怀柔政策。
对老百姓喜欢的陋习吸鸦片，从清肃改为放宽至“专卖”，又搞“飨老典”的敬老活动，“扬文会”重视读书经商精英的表彰活动等。
在经济上，儿玉源太郎实行了食盐、樟脑、烟酒、鸦片等专卖制度，大肆剥削台湾民众。