慶長8年(1603年)に高橋元種が築いたとされる延岡城址で、県内唯一の近世城郭です。
通称「千人殺しの石垣」は、高さ約19mあり、九州内でも有数の高さを誇っています。
頂上の天守台跡地には鐘つき堂があり、今もなお鐘守の手によって時が告げられています。
春には約250本の桜が咲き誇り、花見の時期には灯りがともされ夜桜が楽しめます。
また、108種、3,300本を超えるヤブツバキが自生し、千葉県いすみ市の伊能滝、島根県松江市の松江城址とともに日本三大ヤブツバキ群といわれており、「延岡」「牧水」などの名前の付いた固有のヤブツバキがあります。