Il avertit en un endroit son frère cadet qu’il lui parle des livres sans aucun égard à la bonté ou à l’utilité qu’on en peut tirer : « Et ce qui me détermine à vous en faire mention est uniquement qu’ils sont nouveaux, ou que je les ai lus, ou que j’en ai ouï parler. » Bayle ne peut s’empêcher de faire ainsi ; il s’en plaint, il s’en blâme, et retombe toujours : « Le dernier livre que je vois, écrit-il de Genève à son frère, est celui que je préfère à tous les autres. » Langues, philosophie, histoire, antiquité, géographie, livres galants, il se jette à tout, selon que ces diverses matières lui sont offertes : « D’où que cela procède, il est certain que jamais amant volage n’a plus souvent changé de maîtresse, que moi de livres. » Il attribue ces échappées de son esprit à quelque manque de discipline dans son éducation : « Je ne songe jamais à la manière dont j’ai été conduit dans mes études, que les larmes ne m’en viennent aux yeux. […] Quelque vastes que soient les espaces et le champ défini, il ne peut promettre de s’y renfermer, ni s’empêcher, comme il le dit admirablement, de faire des courses sur toutes sortes d’auteurs. […] Pour nous qui en introduisant l’art, comme on dit, dans la critique, en avons retranché tant d’autres qualités, non moins essentielles, qu’on n’a plus, nous ne pouvons nous empêcher de sourire des mélanges et associations bizarres que fait Bayle, bizarres pour nous à cause de la perspective, mais prompts et naïfs reflets de son impression contemporaine : le ballet de Psyché au niveau des Femmes savantes ; l’Hippolyte de M. 

Persuadées qu’elles possèdent le fin mot de l’énigme, ces bonnes âmes sont importunes, empressées ; elles veulent qu’on les laisse faire, elles s’imaginent qu’il n’y a que le vil intérêt et le mauvais vouloir qui empêchent d’adopter leurs systèmes. […] La conscience seule du mal empêche le repos. […] Il est donc essentiel qu’elle les garde quelque temps, pour opérer à loisir cette analyse ; autrement la digestion trop hâtée n’aboutirait qu’à l’affaiblir ; l’assimilation d’une foule d’éléments vraiment nutritifs serait empêchée.

Heureusement que cela ne doit pas les empêcher de me plaindre et de m’aimer. […] Mon cher ami, je ne sais ce que je vous dis ; mais je ne puis m’empêcher de désirer, comme saint Paul, omnes fieri qualis et ego sum, heureux de n’avoir pas à ajouter exceptis vinculis his. […] Je ne puis pourtant m’empêcher de jeter à la hâte sur le papier les principaux points sur lesquels il est important que, à l’heure même, nous nous entendions.