Dans la correspondance qu’il entretient avec lui, Voltaire le tâte souvent, et essaye de l’engager ; en 1760, après la comédie des Philosophes de Palissot, après le discours de réception de Lefranc de Pompignan, et dans ce moment le plus vif de la mêlée philosophique, Voltaire voudrait que Duclos s’entendît avec les amis et surtout qu’il agît en cour pour faire arriver Diderot à l’Académie ; c’eût été un coup de parti en effet, et une éclatante revanche : « Vous êtes à portée, je crois, d’en parler à Mme de Pompadour ; et, quand une fois elle aura fait agréer au roi l’admission de M.  […] Je ne sais ce que Duclos répondit, ni en quel sens il agit précisément : l’essentiel et ce qui le caractérise, c’est que sa ligne générale de conduite fut plus prudente et plus indépendante que Voltaire n’aurait voulu. […] L’Académie n’a jamais eu un secrétaire tel que vous » ; il avait beau ajouter : « Parlez, agissez, écrivez hardiment ; le temps est venu… » Duclos ne répondit à ces exhortations qu’à demi et ne marcha que son pas.