１９５８年。ダーリントン邸の老執事スティーブンスのもとに、以前共に屋敷で働いていた女性ミス・ケントンから一通の手紙が届く。懐かしさに駆られる彼の胸に２０年前の思い出が蘇る。当時、主人に対して常に忠実なスティーブンスと勝気なケントンは仕事上の対立を繰り返していた。二人には互いへの思慕の情が少しずつ芽生えていたが、仕事を最優先するスティーブンスがそれに気づくはずもなかった。そんな中、ケントンに結婚話が持ち上がる。それを知ったスティーブンスは激しく動揺するが・・・。