Il me semble que le caractère de Bailly se dessine ici sous sa propre plume : hâtons-nous d’ajouter que cet homme si sensible, si touché, si peu au fait, ce semble, des mille circonstances compliquées et confuses de la société de son époque, et qui manque certainement de génie et de coup d’œil politique, ne manquera nullement de fermeté et de force de résistance dès que le devoir et la conscience lui parleront. […] Au milieu des pages fort mélangées que lui a consacrées son ami Mérard de Saint-Just, il en est une qui me paraît rendre avec réalité et sans complaisance sa figure, sa physionomie finale, et les qualités qui s’y dévoilaient peu à peu aux yeux de l’amitié : Grand et maigre, est-il dit, le visage long, des yeux petits et un peu couverts, la vue extrêmement basse, un nez d’une longueur presque démesurée, le teint assez brun, tout cet ensemble ne lui donnait pas une figure aimable : il l’avait sérieuse ; mais son air imposant, même un peu sévère, loin d’avoir rien d’austère ni de sombre, laissait paraître assez à découvert ce fonds de joie sage et durable qui est le fruit d’une raison épurée et d’une conscience tranquille.