Palazzo Torlonia era il cuore del paese: in esso vivevano dei Poggio-moianesi, non solo il guardiano, come veniva chiamato il responsabile delle proprietà dei Torlonia, ma anche delle semplici famiglie; c’erano poi delle botteghe, e soprattutto era di passaggio tra il centro storico, sotto, e la parte superiore.