Pendant que Paul Dédalus nous racontait ses histoires d'amours et ses histoires tout court dans Comment je me suis disputé... (ma vie sexuelle), il gardait en sourdine les souvenirs de sa jeunesse qui vont aussitôt ressortir lorsque le spectre de son homonyme refait surface. Face à ce problème d'identité qui le bloque à la douane, Paul se remémore trois souvenirs de sa jeunesse, et Arnaud Desplechin en fait un film magnifique.
Le premier souvenir n'arrive que par bribes, il concerne son enfance d'enfant quasi battu par une mère tyrannique et un père intransigeant. Puis arrive le souvenir de ce voyage à Minsk, la première aventure de sa vie qui l'amènera à donner son identité à l'origine de l'arrestation à l'aéroport. Les deux tiers restant du film aborde le souvenir de sa rencontre avec Esther et de l'amour passionnel qui a suivi. Une existence est faite de plusieurs vies et, telles que le symbolisent les montres de Dali, le temps s'arrête puis repars brusquement. Dans la tête de Paul se bouscule une enfance qui reste en mémoire tels les stigmates de souvenirs douloureux, sans réels détails. Puis vient une escapade de quelques heures restée intacte dans la tête du protagoniste. Mais ce qui reste largement de sa jeunesse (à l'image des deux-tiers du film), c'est le souvenir de ce temps passé avec Esther, quelques mois qui résument quasiment à eux-seuls toutes les années de la jeunesse de Paul. Le parti-pris scénariste et narratif d'Arnaud Desplechin font de ces Trois souvenirs de ma jeunesse une splendide étude sur la mémoire et les souvenirs.
Mais ce que le spectateur retient de ces deux heures passés dans la tête de Paul, ce sont surtout ce retour nostalgique dans les années 80, ces merveilleux interprètes aux dialogues poétiques, loin du réalisme de nos souvenirs toujours idéalisés, accentués, dramatisés. Ce retour en grâce d'Arnaud Desplechin fait oublier l'étrange Jimmy P. et ramène le réalisateur à sa forme qui avait abouti à un film culte pour une génération dont ce dernier film est le préquel. La jeunesse, avec ses très hauts et parfois ses très bas, est ici sublimé par la caméra d'Arnaud Desplechin. Sa rétrogradation à la Quinzaine des réalisateur à Cannes n'en était certainement pas une. Triste destin pour ce film qui aurait très certainement pu recevoir un prix qui, de mémoire de cinéphile, a toujours échappé à Desplechin en compétition officielle.