J’ai goûté, je l’avoue, tout ce qui, dans Lysistrata, « sentait le vers latin ». […] Dans les chapitres de ses Origines du Christianisme qui se rapportent à des événements ou à des états de civilisation que nous pouvons connaître par les écrivains grecs et latins, il est facile de voir qu’il fut un historien et un interprète des textes aussi exact et aussi scrupuleux que s’il n’avait pas eu de génie. […] Il y a, d’ailleurs, chez ces petits poètes du siècle dernier, qui furent tous d’excellents humanistes, quelque chose de net et d’accompli dans la rhétorique, une perfection d’élégance scolaire, qui plaira toujours immanquablement à un petit enfant, même ignorant, de ce pays de France, classique dans les moelles, de cette Gaule latine où florirent les plus ingénieux rhéteurs. […] Et, depuis, j’ai continué à aimer Boileau jusque dans ses gentillesses d’école, dans ses fameuses « transitions », dans ses « alliances de mots » selon la formule, dans ses « savantes » imitations du latin… Ces élégances surannées me sont restées fraîches, parce qu’elles m’ont été la première révélation de la littérature. […] N’est-ce pas joli comme des vers latins, — qui seraient chinois, — dans un très habile français ?

Il les dit très bien, quelquefois avec lourdeur, le plus souvent avec cette verdeur rigoureuse qui sent quelque chose de l’antiquité latine et quelque chose du xvie  siècle. […] Mgr le cardinal Mathieu vécut dix-huit ans dans le petit séminaire de Pont-à-Mousson, où il enseignait le latin et l’histoire. Il est à croire qu’il enseignait le latin avec complaisance et l’histoire avec passion ; car il a consacré les loisirs d’une bonne partie de ces dix-huit ans à rassembler patiemment les documents sur l’histoire de sa « petite patrie » et à écrire le livre qui a fait de lui un docteur ès lettres et qui n’a pas peu contribué à faire de lui, plus tard, un académicien : L’Ancien Régime en Lorraine et en Barrois. […] Le jeune cardinal appartenait à l’une des plus grandes familles latines et romaines ; il s’était distingué, comme écolier et comme étudiant, par sa vive intelligence et sa vertu solide ; il avait étudié à Bologne et à Paris et avait, tout jeune, une réputation de savant très établie. […] Il a aussi beaucoup de connaissances, souvent peu approfondies, — si j’en crois tel propos que me tint, un jour, un spécialiste sur Le Latin mystique, — mais variées, curieuses, amusantes, et qui sont parfaitement suffisantes pour un publiciste.