Romanın başkahramanı Jean Valjean, annesi ve kız kardeşi için ekmek çalmaya çalışırken yakalanır. Bu durumdan dolayı beş yıl boyunca kürek cezasına çarptırılır. Ancak Jean Valjean, bu süre içerisinde tekrar kaçmaya çalıştığı için cezası on yıla çıkar.
Jean Valijean, hapishaneden çıktıktan sonra iş ve yemek bulamaz. Kimse onu yanında çalıştırmak istemez. Fakat Myriel adında bir psikopos, ona evini açar. Jean Valjean, bir gün kendisine hakim olamaz ve psikoposun gümüşten yapılmış takımlarını çalar. Jean Valjean hırsızlık yaptıktan sonra, oradan kaçarken polislerle karşılaşır. Polisler ondan şüphelenirler ve gümüş takımları bulurlar. Psikopos Myriel ise gümüş takımlarını kendisinin verdiğini söyleyerek Jean Valjean'ı kurtarır.
Polisler, psikoposun dediklerine inandıkları zaman oradan uzaklaşırlar. Bu sırada psikopos, Jean Valjean'a çaldığı takımların yanında iki de şamdan verir. Bunların hepsini satmasını ve bir iş kurmasını söyler. Jean Valjean, psikoposun davranışlarından sonra hem ona hem de kendine iyi bir insan olacağına dair söz verir.
Jean Valjean, Kuzey Fransa'da mücevhercilik işi yapmaya başlar. Bu işten çok para kazanır ve kasabanın en güvenilir insanlarından biri olarak görülür. Ancak halk, onun eski bir hırsız olduğunu bilmez. Güvendikleri içinde belediye başkanı seçerler. Jean Valjean, bu süreçte yoksul ve yardıma muhtaç insanlara da yardım eder. Kasabada bulunan bir polis müfettişi onun kimliğini araştırır ve eski bir suçlu olduğundan şüphelenmeye başlar.
Jean Valjean'ın fabrikasında işçi olarak çalışan Fantaine evlenmeden bir çocuk doğurur. Bunu duyan fabrika yöneticileri, Jean Valjean'dan habersiz kadını işten çıkartır. Kadın ise çocuğuna ve kendisine bakabilmek için hayat kadınlığı yapmaya başlar. Polis tarafından tutuklanan kadını Jean Valjean kurtarır. Kadın ise bu süreçte çok hasta olduğu için onu hastaneye yatırır.
Kasabanın müfettişi Jean Valjean'a kendisinden şüphelendiğini ancak gerçek suçlunun yakalandığını söyler. Jean Valjean ise başkasının suçsuz yere ceza alacağını öğrenince gidip teslim olur. Bu sırada hastanede yatan Fantaine ölür. Kadının kızını sahiplenen aile de oldukça kötüdür. Bu nedenle Jean Valjean hapishaneden kaçar, kızla birlikte Paris'te yaşamaya başlarlar.
Kız manastırda okulunu bitirince ufak eve yerleşirler. Fantaine'nin kızı olan Casette, büyüyünce Marius adında birisine aşık olur. Cumhuriyetçilerin devlete karşı ayaklandıkları bir zamanda polis müfettişi Cumhuriyetçiler tarafından esir alınır. Cumhuriyetçilerin tarafından olan Jean Valjean'a polisin öldürülmesi görevi verilir. Ancak Jean Valjean, polisin kaçmasına izin verir. Bir baronun oğlu olan Marius, Casette ile evlenir. Jean Valjean ise onlardan ayrılarak uzak bir hayat yaşar. Mutlu bir şekilde hayat veda eder.