Menjadi model bagi masjid-masjid Jawa pada masa berikutnya, Masjid Agung Demak mempunyai bangunan-bangunan induk dan serambi. Bentuk arsitekturnya pun sangat khas Jawa. Hal ini disebabkan oleh beberapa faktor, yakni pembuat bangunan-bangunan itu adalah orang-orang muslim lokal sendiri, sehingga seni bangunan bahkan seni ukir yang sudah ada secara tradisional tetap dilanjutkan, seperti Masjid Agung Demak yang dibangun oleh tukang-tukang yang didatangkan dari Majapahit. Bahkan, struktur serambi masjid dibuat berasal dari bahan-bahan yang didatangkan dari Majapahit (Tjandrasasmita, 2000: 164).

Bangunan induk memiliki empat tiang utama yang disebut saka guru. Salah satu dari tiang utama diyakini berasal dari serpihan (potongan) kayu yang diikat menjadi satu yang disebut saka tatal. Bangunan serambi merupakan bangunan terbuka. Atapnya berbentuk limas yang ditopang delapan tiang yang disebut Saka Majapahit. Atap limas masjid terdiri atas tiga bagian yang menggambarkan; Iman, Islam, dan Ihsan. Di sebelah timur masjid, terdapat kompleks makam dan museum. Di dalam museum masjid, disimpan “Pintu Bledheg”, yang mengandung candra sengkala, Naga Mulat Salira Wani, yang berarti tahun 1388 Saka atau 1466 M, atau 887 H. Pintu ini dibuat oleh Ki Ageng Selo yang dikenal memiliki keahlian menangkap petir. Selain itu, museum juga menyimpan berbagai berbagai hal yang berkaitan dengan riwayat Masjid Agung Demak.

Kompleks makam, berisi makam raja-raja Demak. Jirat makam berwarna kuning keemasan tanpa cungkup dan tampak paling menonjol adalah makam dari Raden Patah (Sultan Demak I) dan Raden Pati Unus (Sultan Demak II), sementara di sisi yang lain dengan bangunan dan cungkup khusus, adalah makam Sultan Demak III, Sultan Trenggana. Makam Sultan Demak III ada dalam cungkup terkunci dan hanya dibuka pada hari tertentu. Hal ini untuk menjaga kebersihan dari para pengunjung. Demak pada masa Sultan Trenggana dianggap mencapai puncak kejayaannya dengan menguasai Sunda Kelapa dan Tuban pada 1527, Madiun pada 1529, Surabaya dan Pasuruan pada 1527, Malang pada 1545, serta Blambangan pada 1546.

Di kompleks makam, terdapat pula makam dari tokoh-tokoh Demak yang lain, seperti Putri Champa dan Syaikh Maulana Maghribi, serta Makam Pangeran Benawa. Makam tokoh yang disebut terakhir ini sangat unik, karena jirat makamnya yang sangat panjang, lebih panjang dari makam pada umumnya. Makamnya terpisah dari makam Sultan Demak, karena Pangeran Benawa adalah putera Sultan Hadiwijaya (Jaka Tingkir), pendiri Kasultanan Pajang. Putrinya, Dyah Banowati, menikah dengan Mas Jolang (Panembahan Hanyakrawati), putra Sutawijaya, dan melahirkan Sultan Agung. Terdapat pula makam Sunang Ngudung, ayah dari Sunan Kudus serta kakak Sunan Ampel. Dalam perang melawan sisa-sisa Majapahit, ia berhasil membunuh Handayaningrat, Ki Ageng Pengging Sepuh dan menantu Brawijaya V, yang makamnya berada di wilayah Kabupaten Boyolali. Sunang Ngudung kemudian tewas oleh Raden Kusen, Adipati Terung, seorang muslim yang setia pada Kerajaan Majapahit. Makam Adipati Terung juga terdapat di kompleks makam raja-raja Demak. Tokoh-tokoh penting lain yang terlihat pada makam yang terbuka, adalah makam Pangeran Mekah dan isterinya, makam Pangeran Sekar Sedolepen (ayah Arya Panangsang) yang dibunuh orang suruhan Raden Mukmin (nama muda dari Sunan Prawata), serta makam Arya Panangsang, penguasa Jipang Panolan.