东汉灵帝中平三年（公元186年）羊续任南阳太守。那时上层社会腐败，送礼、行贿之风盛行。羊续为人正直清廉，对此深恶痛绝。他上任之后，决心改变风气，革除弊端。

南阳郡有个府丞（地位仅次于太守），总想给太守羊续送礼， 好久没有找到机会。后来，这个府丞得知，羊续的儿子要办喜事，心想太守将会大宴宾客，这可是送礼的大好时机。于是，他急忙赶到集市上，买了两条大鲤鱼，并用彩花和彩带结成的“喜”字装饰起来，于大喜之日，送到羊续家里。羊续谢绝道：“多谢府丞大驾光临！只因孩子成婚不请宾客，贺礼一律不收。”可是，府丞以为这不过是客套话，硬是放下礼品转身便走。羊续沉思片刻，便叫来家人，把这两条大鲤鱼高悬于庭中，不许任何人动它。

时隔半年，羊续45岁寿辰，这位府丞又送来一些鲜鱼。羊续请他留步，引他去看了悬挂在客厅上的那两条鲤鱼，然后对他说：“我历来厌恶有人趁家里办喜事的机会，巧收礼金，以饱私囊。同时大宴宾客，夸官斗富，炫耀门庭。依我看，风气败坏，均由此而生。”羊续接着说：“身为国家官吏，吃穿来之于民，却不行正道，不是清官啊！”

这个府丞听了很惭愧，从此再也不敢上门送礼了。这个故事传遍远近，在官吏中影响很大。

羊续抵制腐败，从自己做起。一丝不苟，对扭转南阳郡的社会风气起到了积极作用。当地百姓很拥护他，称之为“悬鱼太守”。

羊续在48岁时去世，“遗言薄殓”，嘱咐家里人从俭办丧事，更不许为此接受他人的赠金，赠礼。所以，他死后多年，人们依然怀念他。《后汉书》的作者范晔专门为羊续立传，叙其忠直清廉。羊续的事迹流传千载，激励了后人。明代的清官于谦就以羊续为楷模，并用“清风一枕南窗卧，闲阅床头几卷书”的诗句赞美他。