Ce sont ces années actives et fécondes de la première maturité qu’il regrettait plus tard de n’avoir pu appliquer selon qu’il s’en estimait capable : repassant sa vie dans sa vieillesse et faisant son examen de conscience, il croyait qu’il y avait moins encore de sa faute dans cette médiocre fortune que de celle de son étoile : Si on me demande ce que c’est qu’étoile, disait-il, je répondrai que je ne le sais pas ; je sais seulement que c’est quelque chose de réel qu’on ne connaît point ; et je suis persuadé que ceux qui prétendent que notre bonne ou notre mauvaise fortune dépend de notre conduite ont grand tort ; elle y peut beaucoup, mais l’étoile y peut encore plus. […] Ninon, qu’il connaissait et avec laquelle il était lié, lui avait autrefois adressé, à l’occasion de l’une de ses espérances manquées, quelque consolation assaisonnée de réprimande et quelque rappel à la philosophie ; il lui répondait avec bonne grâce, en lui donnant raison sur le fond : Quant à l’extérieur, ajoutait-il, il faut faire à peu près comme les autres, et c’est être fou que de vouloir être sage tout seul… Qu’on me laisse chez moi vivre en repos ; qu’on m’y laisse choisir mes plaisirs et mes amusements et jouir tranquillement de mon bien, je serai trop content ; mais cela est impossible en ce pays-ci ; c’est la pierre philosophale qu’on cherche inutilement depuis tant de temps : tout le monde vient vous y tourmenter. […] Malgré cette humble et confiante prière, je ne répondrais point que sa religion fût aucunement orthodoxe : il se permettait souvent des réflexions assez libres, qui ont un certain air théophilanthropique, et l’on sent que le souffle du xviiie  siècle arrivait. […] Lassay, tout en s’en faisant honneur, reconnaissait que ce portrait était flatté, et il répondait au peintre par un mot du maréchal d’Ancre : « Tu me flattes, mais ça me fait plaisir (Tu m’aduli, ma mi piace). » La vieillesse fut son bel âge.