Son père ne s’occupa en rien de son éducation ; il fut remis aux soins de sa grand-mère, lady Halifax. […] Il s’y occupait de jardinage et de la culture de ses melons et de ses ananas ; il se plaisait à végéter de compagnie avec eux : J’ai végété toute cette année ici, écrivait-il à une amie de France (septembre 1753), sans plaisirs et sans peines : mon âge et ma surdité me défendent les premiers ; ma philosophie, ou peut-être mon tempérament (car on s’y trompe souvent), me garantit des dernières.