Londres, 1910. Dans un lugubre orphelinat, deux jeunes filles se rencontrent, se lient d'amitié et décident de s'enfuir. De l'Angleterre à l'Afrique du Sud, de l'Argentine à l'Irlande, une quête littéraire les unit désormais : elles sont à la recherche d'un roman griffonné de la main du père de Louise, dont les lignes révéleraient un trésor. Les couleurs de nos vies est une histoire d'aventures et d'amitié, une course poursuite à travers le monde, au début du XXe siècle.

Tout commence à Londres, en 1936, lorsque deux dames de la haute société se retrouvent dans le bureau du mystérieux Sir Clarke. Les deux femmes se détestent. La chose est de notoriété publique à Londres, alors pourquoi donc organiser une telle rencontre ? D'autant plus que leur hôte brille par son absence. Quand le majordome excuse le maître de maison et les prie de lire le manuscrit qu'il a déposé pour elles, les dames croient tout d'abord à une mauvaise plaisanterie. Pourtant, et bien malgré elles, elles entreprendront la lecture de ces écrits qui retracent leur vie depuis leur rencontre dans un orphelinat misérable de la ville.
À cette époque, Louise rencontre Rose. Elles se lient d'amitié et décident ensemble de fuir l'orphelinat pour rejoindre l'Afrique du Sud. Le motif de cette fugue vaut son pesant d'or puisqu'elles partent à la recherche d'un roman annoté de la main du père de Louise, et dont des indices révéleraient la cachette d'un trésor. Mais pour fuir cet orphelinat, encore faudra-t-il passer au travers des griffes de Flynn, le terrible gardien en chef qui les retient prisonnières, et les a réduites en esclavage pour creuser les souterrains du métro de Londres. Il leur faudra ensuite réussir à embarquer sur un bateau les menant aux confins de la terre, et survivre à son équipage un peu particulier.
En Afrique, puis en Argentine, aux États-Unis puis enfin en Irlande, les deux jeunes filles s'engageront dans de multiples et périlleuses péripéties, fuyant la tyrannie des hommes, et suivant les indices les menant jusqu'au livre dont les lignes pourraient révéler l'endroit où se cache le trésor.