西门豹罢官的故事如下：
初任县官：
西门豹初任邺地的县官时，勤勉清廉，深得民心，但他不去巴结魏文侯的左右亲信，因此这伙人怀恨在心，勾结起来说了他的许多坏话。
述职被罢官：
年底，西门豹向魏文侯作述职报告，政绩突出，本应受嘉奖，却被收去了官印，魏文侯罢了他的官。西门豹心里明白被罢官的原因，便向魏文侯请求再干一年，如治理不当，甘愿受死。魏文侯答应了西门豹，又将官印给了他。
疏于实事，巴结权贵：
西门豹回到任所后，开始疏于实事，而去极力巴结魏文侯的左右。又一年过去了，他照例去述职，虽然政绩比上年大为下降，但魏文侯却称赞有加，奖赏丰厚。
拒绝赏罚不明：
这时，西门豹严肃地对魏文侯说：“去年我为您和百姓为官有政绩，您却收缴了我的官印。如今我因为注重亲近您的左右，所以印象好，您就对我大加礼遇，可实际功劳大不如过去。这种赏罚不明的官我不想再做下去了。”说完，西门豹把官印交给魏文侯便走。魏文侯省悟过来，连忙对西门豹表示歉意说：“过去我对你不了解，有偏见。今天我对你加深了认识，希望你继续做官，为国效力。”。
这个故事反映了西门豹刚正不阿、嫉恶如仇的性格，以及他对赏罚分明的坚持。