C’est ainsi qu’ayant eu communication des Mémoires, alors manuscrits, de Mme de La Rochejacquelein, revus et en partie rédigés par M. de Barante, il déclarait y avoir trouvé « la jouissance la plus vive que livre puisse jamais procurer. » Il y voyait tout ce qui constitue un morceau accompli d’histoire, « l’harmonie et la justesse d’un style partout adapté à la chose, l’art pittoresque qui met toujours et la scène et les personnages devant les yeux, l’intérêt le plus vif, le plus enthousiaste, le plus vertueux, qu’aucune période de l’histoire moderne ait jamais présenté, un intérêt qui s’attache aux personnes et qui ne se perd jamais dans les masses et les nombres abstraits, comme il arrive trop souvent. » Les Lettres de Mlle de Lespinasse, nouvellement publiées (1809), lui faisaient un effet bien différent ; c’était, pour lui, une lecture singulière qui lui laissait des impressions contradictoires, et où il se sentait quelquefois rebuté par la monotonie de la passion, souvent blessé d’un manque de délicatesse et de dignité dans la victime, mais attaché en définitive par la vérité et la profondeur de l’étude morale : « Un rapprochement, dit-il, que je faisais à chaque page augmentait pour moi l’intérêt de cette Correspondance. […] Il s’y trouve tout à côté peut-être de quelque orthodoxe calviniste qui croit à la doctrine de la prédestination, ou de quelque socinien et rationaliste qui ne voit dans le christianisme que le travail successif des hommes les plus vertueux et les plus éclairés de tous les âges, et dans la morale que l’héritage et le perfectionnement des siècles : « Tous deux se disent chrétiens, et je le crois, écrivait-il à une amie digne de le comprendre, je les reçois comme frères, et j’ai du plaisir à m’associer à eux dans un hommage public de reconnaissance et d’amour à l’Être qui nous a donné l’existence et qui l’a douée de tant de biens. » Qu’on la partage ou non, cette façon d’entendre le christianisme, et qui se rapproche de celle d’Abauzit ou de Channing, est élevée et bien pure. […] Il extrait les originaux sans y chercher finesse, en y cherchant pourtant un peu trop la leçon morale.