Kritikusai szerint írói munkásságának legértékesebb része a levelezése. A világirodalom legszorgalmasabb levelezőinek egyike, hiszen több mint 6000 levele ismeretes, amelyek választékos nyelvű, elejétől végig nagy gonddal, finom ízléssel kidolgozott, a nyelv és az irodalom világáról, a kert- és képzőművészetről, magánéletéről vagy az országos politikáról szóló írásművek.

Életének legszomorúbb esztendeit Fogságom naplója című kéziratában örökítette meg. Műfaját tekintve valójában nem is napló, sokkal inkább visszaemlékezés, hiszen a börtönben csak apró feljegyzéseket, illetve rajzokat készíthetett. 1801. június 28-án szabadult, 2387 napi, majd 7 évi fogság után, s csak évekkel később látott hozzá emlékei rögzítéséhez. Művét 1828-ban fejezte be, a cenzúra miatt könyv alakban csak 1931-ben jelenhetett meg.

Péterfy Gergely a Kitömött barbár című regényében a felvilágosodás utáni időszak művelődés- és politikatörténeti hátterét, Kazinczy Ferenc és a fekete bőrű szabadkőműves, Angelo Soliman barátságát vázolja fel. A mesterien komponált, megrázó és az olvasó érdeklődését mindvégig fenntartó kiadvány tíz év kutatómunkájának eredménye.