豊かな自然に囲まれた、小さな島――鳥白島。高校生の鷹原羽依里は、母方の叔母にあたる岬鏡子に誘われ、夏休みの間、祖母の遺品整理を手伝うことになっていた。「さしずめ俺は、傷ついた渡り鳥か……」木陰で無防備に寝る少女や、上半身裸で堂々と道を歩く少年、親戚にあたるという加藤うみなど、羽依里は鳥白島で様々な人たちと出会っていく。そんな中、誰もいない夜のプールで泳ぐ不思議な少女、鳴瀬しろはを目撃して……。

鳥白島では島外からの来訪者を『渡りの人』と呼び、歓待するのが習わしとなっていた。鳥白島の少年団の面々――すぐ上半身裸になりたがる三谷良一や、ゴツい水鉄砲で上半身裸の不届き者を狙撃する野村美希、卓球に異常な情熱を注ぐ加納天善――が、羽依里のために歓迎会を開いてくれる。そこで羽依里は、木陰で無防備に眠っていた少女、空門蒼と再会して……。鳥白島での賑やかな日々に充実感を覚える羽依里。気がかりなのは、なぜか島の人々と距離を置いているように見えるしろはのことで……。

鳥白島での変わらない日常――鏡子から蔵整理の手伝いをやんわり遠慮され、羽依里はいつものように島を散策していた。そこで出会う、大きなスーツケースを引きずる好奇心旺盛な少女、久島鴎。鴎は初対面にも関わらず、「羽依里」の名を呼ぶと――この島に来た目的が『宝探し』だと打ち明け、羽依里を『宝探し』の冒険へと誘う。幼少期に一度、サマーキャンプで鳥白島を訪れたことがあるという鴎。鴎のスーツケースに貼られた『ひげ猫団』のステッカーに、羽依里は妙な既視感を覚えて――

『10年後僕達が再び集う時のために、この夏に見つけたこの島の秘密を、この宝箱に封印することにする』この夏休みを、鴎と冒険することに決めた羽依里。小学校の屋根裏部屋で見つけた宝箱を開けるべく、手帳に書かれた暗号を元に、4つの鍵を探し始める。鴎と協力し、順調に鍵を発見していく羽依里であったが――最後の鍵を見つけた際、木から落ちて怪我を負ってしまう。自宅で安静にする羽依里の元を訪れる鴎。その、意外な姿とは……。

宝箱を開けて手に入れた地図を頼りに、冒険へと出発する羽依里と鴎。地図に記された印には、鴎が10年前のサマーキャンプで知り合った仲間達と発見した、海賊船があるという。今は使われていないトロッコの線路を歩き、かつて海賊船を見つけた岬へと至る洞窟を目指す羽依里と鴎。炎天下の中、羽依里は5人の子供達が線路を歩く白昼夢を見る。その中には、鴎と同じようにスーツケースを引く少女がいて……。

海賊船を発見した直後、鴎は羽依里の前から幻のように姿を消してしまった。少年団に協力を求め、再び洞窟に入って鴎を探す羽依里。そこで、鴎のスーツケースだけが発見される。スーツケースの中には『ひげ猫団の冒険』という、古びた一冊の児童書が入っていた。それをきっかけに、すべてを思い出す羽依里。鳥白島の離島に居を構える鴎の母の元を訪ねると、海賊船の船長室に入るよう言われる。「あそこには、あの子の一番の宝物が隠されています」 羽依里と鴎を結ぶ、意外な過去とは――