Arrivé à ce terme de la discussion, il s’exécute, et convient à peu près qu’il n’a voulu faire qu’un agréable et assez instructif roman : Je me vois, monsieur, dit-il agréablement à Voltaire qui est censé toujours vivant, je me vois réduit à l’embarras des auteurs de romans qui, après avoir conduit leur prince ou leur héros jusqu’au dernier volume, ne savent plus comment s’en défaire, et finissent par le faire assassiner. […] Interrogé par Voltaire en 1776 sur la valeur de l’opinion énoncée au tome Ier de l’Histoire de l’astronomie, il répondait : « Le rêve de Bailly sur ce peuple ancien qui nous a tout appris, excepté son nom et son existence, me paraît un des plus creux qu’on ait jamais eus ; mais cela est bon à faire des phrases, comme d’autres idées creuses que nous connaissons et qui font dire qu’on est sublime. » D’Alembert aigre, exact et sec, détestait Buffon et n’épargnait point Bailly qu’il considérait alors comme un satellite du grand naturaliste pour les systèmes.