Dès la première chanson de l'album, "Je ne respire plus, Milos", il semble déjà que Dominique A ne joue plus dans la même cour que sur ses premiers albums. Toujours accompagné comme sur l'album précédent de Françoiz Breut, l'auteur affiche des textes et des arrangements plus travaillés, et rapidement la musique semble aussi plus variée : on passe d'une folk-rock dans laquelle on sent l'influence de Jeff Buckley ("Je ne respire plus, Milos", "Ainsi, parfois", "Le Ravalement des façades") à de la musique plus expérimentale ("Il ne faut pas souhaiter la mort des gens") ou du tango ("Le Twenty-Two Bar"), voire même de la pop ("La vie rend modeste"). Les textes reviennent à un registre plus intimiste comme sur "La Fossette" ("Je ne respire plus, Milos", "Les Hauts Quartiers de peine", "Hear No More, Dear No More") , tout en laissant de l'espace pour d'autres styles de chansons comme les fables surréalistes de "La Mémoire neuve" ou "Le Métier de faussaire" ou encore l'ironie douce-amère d'"Il ne faut pas souhaiter la mort des gens" et "La vie rend modeste".
L'album s'ouvre donc sur "Milos" et "Il ne faut pas souhaiter la mort des gens", deux morceaux très différents qui dévoilent la nouvelle panoplie de Dominique A avant d'enchaîner sur "Le Twenty-Two Bar", un réjouissant tango au texte et à la musique totalement en phase, qui reste le meilleur morceau de l'album et probablement le plus connu de l'auteur. Il continue avec deux ballades intimistes, "Les Hauts Quartiers de peine" et "Ainsi, parfois", avant de revenir à un morceau plus entraînant avec "La vie rend modeste", et le disque répète une structure similaire jusqu'au "Métier de faussaire", un autre morceau un peu expérimental qui est le dernier moment remarquable de l'album, lequel s'échoue un peu sur les trois dernières chansons, plus anecdotiques.
"La Mémoire neuve" est un album au final quelque peu inégal, mais d'un si haut niveau dans ses sommets qu'il reste l'un des disques indispensables de son auteur, lequel démontrait qu'après le faux pas de "Si je connais Harry", il n'avait pas fini de contribuer à révolutionner la chanson française de son époque.