Il fut élevé au collège de Juilly chez les Oratoriens, et y fit de bonnes études, sans trop de docilité toutefois, et se permettant déjà de juger ses maîtres. […] Un de ses maîtres, et qui était le moins spirituel de tous, le père Herbert, connaissant le penchant du jeune Arnault à la raillerie, voulut un jour s’attaquer à lui et s’en mordit les doigts. […] Arnault est assez piquant lorsqu’il parle de Monsieur, et il nous le définit bien dans sa nature et sa portée d’esprit littéraire ; pourtant il abuse un peu du droit que lui donne la proscription dont l’honora plus tard son ancien maître, lorsqu’il dit d’un ton cavalier : « Monsieur, à tout prendre, était un garçon d’esprit, mais il le prouvait moins par des mots qui lui fussent propres que par l’emploi qu’il faisait des mots d’autrui. » Est-ce de ma part une excessive délicatesse ? […] Arnault en a su faire un mérite et une distinction même de son recueil ; il est maître dans la fable serrée et laconique59. […] Destitué en février 1815, il rentra pendant les Cent-Jours au ministère de l’Instruction publique, dont il tint même le portefeuille en attendant qu’on eût trouvé un dignitaire pour grand maître.