Il avertit en un endroit son frère cadet qu’il lui parle des livres sans aucun égard à la bonté ou à l’utilité qu’on en peut tirer : « Et ce qui me détermine à vous en faire mention est uniquement qu’ils sont nouveaux, ou que je les ai lus, ou que j’en ai ouï parler. » Bayle ne peut s’empêcher de faire ainsi ; il s’en plaint, il s’en blâme, et retombe toujours : « Le dernier livre que je vois, écrit-il de Genève à son frère, est celui que je préfère à tous les autres. » Langues, philosophie, histoire, antiquité, géographie, livres galants, il se jette à tout, selon que ces diverses matières lui sont offertes : « D’où que cela procède, il est certain que jamais amant volage n’a plus souvent changé de maîtresse, que moi de livres. » Il attribue ces échappées de son esprit à quelque manque de discipline dans son éducation : « Je ne songe jamais à la manière dont j’ai été conduit dans mes études, que les larmes ne m’en viennent aux yeux. […] Un an auparavant, sa chaire de philosophie à Sedan avait été supprimée, et après quelque séjour à Paris il s’était décidé à accepter une chaire de philosophie et d’histoire qu’on fondait pour lui à Rotterdam. Sa Critique générale de l’Histoire du Calvinisme du Père Maimbourg parut cette même année 1682, et jusqu’en décembre 1706, époque de sa mort, sa carrière, à l’ombre de la statue d’Érasme, ne fut plus marquée que par des écrits, des controverses littéraires ou philosophiques ; après ses disputes de plume avec Jurieu, Le Clerc, Bernard et Jaquelot, après son petit démêlé avec le domestique chatouilleux de la reine Christine, les plus graves événements pour lui furent ses déménagements (en 1688 et en 1692), qui lui brouillaient ses livres et ses papiers. […] En tête d’une des lettres de sa Critique générale, Bayle nous dit avoir remarqué, dès ses jeunes ans, une chose qui lui parut bien jolie et bien imitable, dans l’Histoire de l’Académie française de Pelisson : c’est que celui-ci avait toujours plus cherché, en lisant un livre, l’esprit et le génie de l’auteur que le sujet même qu’on y traitait. […] Bayle a-t-il été l’amant de madame Jurieu, comme l’ont dit les malins, et comme on le peut lire page 334, t. 1er des Nouveaux Mémoires d’Histoire, de Critique et de Littérature, par l’abbé d’Arligny ?