Il ne regrette point le ministère aux conditions où il l’a laissé, et il résume lui-même sa situation politique par un de ces mots décisifs qui sont à la fois un jugement très vrai, et un aveu honorable pour celui qui les prononce : « Je sens avec vous combien il est heureux pour moi de n’être plus en place ; je n’ai pas la capacité nécessaire pour tout rétablir, et je serais trop sensible aux malheurs de mon pays. » Et il essaye de se consoler de son mieux, de se recomposer, dans cette oisiveté, quoi qu’il en dise, un peu languissante, un idéal de vie philosophique et suffisamment heureuse : « La lecture, des réflexions sur le passé et sur l’avenir, un oubli volontaire du présent, des promenades, un peu de conversation, une vie frugale : voilà tout ce qui entre dans le plan de ma vie ; vos lettres en feront l’agrément. » Ce dernier point n’est pas de pure politesse : on ne peut mieux sentir que Bernis tout l’esprit et la supériorité de Voltaire là où il fait bien : « Écrivez-moi de temps en temps ; une lettre de vous embellit toute la journée, et je connais le prix d’un jour. » La manière dont Voltaire reçoit ses critiques littéraires et en tient compte enlève son applaudissement : « Vous avez tous les caractères d’un homme supérieur : vous faites bien, vous faites vite, et vous êtes docile. » Bernis n’a pas, en littérature, le goût si timide et si amolli qu’on le croirait d’après ses vers. […] Ou voit déjà assez ce qu’il faut penser de Bernis pour l’esprit et pour le jugement. […] Le père Theiner, dans son Histoire du pontificat de Clément XIV, est l’écrivain qui, ayant eu sous les yeux la plus grande partie des dépêches de Bernis, probablement d’après les minutes mêmes recueillies après sa mort et déposées au Vatican, et qui, en ayant fait un usage et un extrait continuel, nous permet d’en porter aujourd’hui le jugement le plus motivé et le plus complet. […] Ce jugement sur Ganganelli est celui dont Bernis ne se départira plus.