司马炎建立晋国后，积极筹画消灭孙吴政权的战争。泰始五年(269年)，司马炎调任散骑常侍羊祜为荆州诸军都督。当时，西晋和孙吴各有一个荆州，形成南北对峙局面。西晋的荆州包括今天的陝西、河南的一小部分和湖北北部地方。吴国的荆州则有今天的湖北和湖南的大部分地区。

羊祜到任后，发现荆州不但百姓的生活不够安定，就连戍兵的军粮也不充足。于是，羊祜首先把精力放在开发荆州方面。羊祜把军队分作两半，一半执行巡逻戍守的军事任务，一半垦田。当年，全军共垦田八百馀顷。羊祜刚来时，军队连一百天的粮食都没有，到后来，粮食积蓄可用十年。羊祜的这些措施迅速地安定了荆州的社会秩序，增强了军队的战斗力。晋武帝为表彰他的功绩，下令取消江北所有的都督建置，授予羊祜南中郎将、车骑将军的职务，负责指挥江夏地区的全部军队。这一年，羊祜四十九岁。

泰始六年(270年)，吴国在荆州的都督换上著名的军事家陆抗。陆抗到荆州后，立即上疏给吴主孙皓，对荆州的形势表示忧虑，提醒孙皓不要盲目迷信长江天堑，应该认真备战。他把自己的想法归纳为十七条建议，请求实行。

羊祜一面加紧在荆州进行军事布置，一面向晋武帝建议，伐吴战争必须利用长江上游的便利条件，在长江大办水军。羊祜认识到，荆州有陆抗这样的优秀将领，平吴战争不宜操之过急。于是，他採取军事蚕食和提倡信义的两面策略，以寻找灭吴的合适时机。

羊祜挥兵挺进，佔据了荆州以东的战略要地，先后建立五座城池。并以此为依托，佔据肥沃土地，夺取吴人资财。于是，石城以西均为晋国佔有，吴人来降者源源不绝。羊祜于是实施怀柔、攻心之计。在荆州边界，羊祜对吴国的百姓与军队讲究信义，每次和吴人交战，羊祜都预先与对方商定交战的时间，从不搞突然袭击。有部下在边界抓到吴军两位将领的儿子，羊祜知道后，马上命令将孩子送回。后来，吴将夏详、邵颉等前来归降，那两位少年的父亲也率其部属一起来降。吴将陈尚、潘景进犯，羊祜将二人追杀，然后，嘉赏他们死节而厚礼殡殓。两家子弟前来迎丧，羊祜以礼送还。吴将邓香进犯夏口，羊祜悬赏将他活捉，抓来后，又把他放回。邓香感恩，率其部属归降。

羊祜的部队打猎的时候，羊祜约束部下，不许超越边界线。如有禽兽先被吴国人所伤而后被晋兵获得，他都送还对方。羊祜这些作法，使吴人心悦诚服，十分尊重他，不称呼他的名字，只称“羊公”。对于羊祜的这些作法，陆抗心中很清楚，所以常告诫将士们说：“彼专为德，我专为暴，是不战而自服也。各保分界而已，无求细利”(《晋书．羊祜传》)。

因此，在很长的一段时间里，晋吴两国的荆州边线处于和平状态。一次陆抗生病，向羊祜求药，羊祜马上派人把药送过来。吴将怕其中有诈，劝陆抗勿服，陆抗不疑，并说：“羊祜岂鸩人者”(《晋书．羊祜传》)！仰而服下。羊祜的人品使敌军信服，实属难能可贵。