1805年、イギリスのマーシャルシー刑務所で、囚人のウィリアム･ドリットに娘が生まれる。21年後、その娘「リトル･ドリット」は、クレナム夫人に雇われることになった。ちょうど同じ頃、クレナム夫人の息子アーサーは、中国からの帰国途中、マルセイユで検疫のために足止めを食らい、そこでミーグルズ一家と知り合う。ほどなく解放されたアーサーは帰国し、父が死んだことを母に告げ、父から預かった時計を母に渡す。アーサーは死に際の父の様子から自分たち家族が過去に過ちを犯したのではと疑い…。

マーシャルシー刑務所に閉じ込められたアーサーは、翌朝リトル･ドリットを捕まえて家族の話を聞き出す。父と兄が債務を抱えていることを知ったアーサーは、ドリット家の債務事情について内密に調査を始め、兄のティップの債務を肩代わりしてやる。だが、父ウィリアム･ドリットの債務については債務事情に詳しい迂遠省に赴いても、はっきりとした事情をつかむことができず…。

ペットにほのかな思いを抱くアーサーは、ミーグルズ一家を訪問する。しかし彼女がヘンリー･ガウワンという男に恋していると気づき、苦悩する。訪問中、発明家のドイスと親交を深めたアーサーは、彼の工場を見学し、共同経営者になることを申し出る。ドイスはこの申し出を喜んで受け、合名会社を設立するのだった。アーサーからドリットの調査を依頼されたパンクスは、マーシャルシーを訪れ、ドリットがドーセット州出身であることを知る。

アーサーは意を決して、ミーグルズ家の娘、ペットに結婚を申し込みに行く。だが、ペット本人からヘンリー･ガウワンと結婚することを知らされ、愕然となる。傷心のアーサーは、マギーに誘われてエイミーを訪ねるが、アーサーに失恋したエイミーは彼と会うのを拒み、悲しく見送るのだった。アーサーからウィリアム･ドリットの調査を頼まれたパンクスは、あるとんでもない情報に行き当たり、驚がくする。

アーサーの助けで、莫大な遺産を手にし、借金を返済したドリット一家は、ついにマーシャルシー刑務所を出ることになった。父ウィリアムは、2人の娘ファニーとエイミーの家庭教師として、ジェネラル夫人を雇うことにする。彼女の提案で、2人に教養を身につけさせようとドリット一家はイタリアへ旅に出る。そしてアルプスで宿泊した修道院で、一家はガウワン夫妻とブランドワに出会う。

ベニスに着いたドリット一家は、マードル母子と再会する。ファニーとマードル夫人は初対面を装いながら火花を激しく散らす。その頃、ロンドンではマードル氏の事業の株価がうなぎのぼりに上がっており、皆が買いに走っていた。アーサーは事業拡張のために投資をするか迷う。ジェネラル夫人と父ウィリアム･ドリットの仲を疑うファニーは、ジェネラル夫人が義母になることを嫌って、かねてから自分に求愛するエドマンド･スパークラーと結婚することを決める。