Bangunan pemujaan ini termasuk salah satu Candi Buddha yang diperkirakan didirikan oleh Dinasti Syalendra antara abad VIII – IX Masehi, akan tetapi waktu pembangunan secara pasti tidak diketahui karena belum ada data-data yang cukup kuat. Menurut Casparis, Candi Pawon merupakan tempat penyimpanan abu jenazah Raja Indra (782 – 812 M), ayah Raja Samarrattungga dari Dinasti Syailendra. Dalam ruangan di tubuh Candi Pawon, diperkirakan semula terdapat Arca Bodhhisattva, sebagai bentuk penghormatan kepada Raja Indra yang dianggap telah mencapai tataran Bodhisattva. Para ahli berpendapat bahwa Candi Pawon merupakan pintu gerbang Candi Borobudur, sebagai tempat umat membersihkan badan dan pikirannya dari kekotoran batin.

Nama Candi Pawon tidak dapat diketahui secara pasti asal-usulnya. Ahli epigrafi J.G. de Casparis menafsirkan bahwa Pawon berasal dari bahasa Jawa ‘awu” yang berarti ‘abu’, mendapat awalan pa- dan akhiran –an yang menunjukkan suatu tempat. Dalam bahasa Jawa sehari-hari kata pawon berarti ‘dapur’, akan tetapi de Casparis mengartikannya sebagai ‘perabuan’ atau tempat abu. Penduduk setempat juga menyebutkan Candi Pawon dengan nama Brajanalan. Karena terletak di Dusun Brojonalan (Brajanalan). Kata ini mungkin berasal dari kata bahasa Sanskerta vajra yang berarti ‘halilintar’ dan anala yang berarti ‘api’. Di dalam bilik candi konon terdapat arca. Dalam Prasasti Karangtengah disebutkan bahwa arca tersebut mengeluarkan vajra (sinar). Pernyataan tersebut menimbulkan dugaan bahwa arca Bodhisattwa tersebut dibuat dari perunggu. Menurut Prof. Dr. R.M Poerbatjaraka, Candi Pawon ini adalah Upa Angga, artinya bagian dari Candi Borobudur, seperti pawon bagian dari rumah.

Candi Pawon terbuat dari batu andesit. Candi ini berdenah bujur sangkar, dengan panjang sisi-sisinya 10 m, dan mempunyai tinggi 13,3 m. Bangunan candi menghadap ke arah barat, berbilik satu dengan ukuran bilik 2,65 m x 2,64 m dan tinggi 5,20 m. Bentuk candi ini ramping, tidak seperti Candi Borobudur yang tambun. Bangunan Candi Pawon secara arsitektural terbagi dalam tiga bagian kaki, tubuh, dan atap candi. Bagian kaki candi berupa batur setinggi 1,5 m. Pada kaki candi ini banyak dihiasi ornamen-ornamen, seperti bunga dan sulur-suluran. Bagian tubuh candi dihiasi arca-arca Bodhisattva, dan bagian atap candi dihiasi stupa. Pintu masuk candi terletak di sebelah barat, pada anak tangga pintu masuk dihiasi makara, dan pada ambang atas pintu masuk terdapat hiasan kala. Atap candi berbentuk persegi bersusun dengan hiasan berupa stupa-stupa kecil di masing-masing sisinya dan puncaknya dihiasi dengan sebuah stupa yang lebih besar.

Pada dinding bagian depan candi, di atas pintu masuk candi (bawah relief kala), terdapat relief yang menggambarkan Kuwera (Dewa Kekayaan) dalam posisi berdiri.

Pada dinding utara dan selatan candi terdapat relief yang sama, yaitu yang menggambarkan Kinara dan Kinari (mahluk setengah manusia setengah burung/berkepala manusia berbadan burung), sepasang burung berkepala manusia, berdiri mengapit pohon kalpataru yang tumbuh dalam sebuah jambangan. Di sekeliling pohon terletak beberapa pundi-pundi uang. Di bagian atas, tampak sepasang manusia yang sedang terbang. Di bagian atas dinding juga terdapat sepasang jendela kecil yang berfungsi sebagai ventilasi. Di antara kedua lubang ventilasi tersebut terdapat pahatan kumuda. Relief di Candi Pawon merupakan relief dekoratif, tidak terdapat relief cerita pada candi ini