Pada prinsipnya analisis butir soal secara kualitatif dilaksanakan berdasarkan kaidah penulisan soal (tes tertulis, perbuatan, dan sikap). Penelaahan ini biasanya dilakukan sebelum soal digunakan/diujikan.
Aspek yang diperhatikan di dalam penelaahan secara kualitatif ini adalah setiap soal ditelaah dari segi materi, konstruksi, bahasa/budaya, dan kunci jawaban/pedoman penskorannya. Dalam melakukan penelaahan setiap butir soal, penelaah perlu mempersiapkan bahan-bahan penunjang seperti: (1) kisi-kisi tes, (2) kurikulum yang digunakan, (3) buku sumber, dan (4) kamus bahasa Indonesia.
Teknik Analisis Secara Kualitatif
Ada beberapa teknik yang dapat digunakan untuk menganalisis butir soal secara kualitatif, diantaranya adalah teknik moderator dan teknik panel.
Teknik moderator merupakan teknik berdiskusi yang di dalamnya terdapat satu orang sebagai penengah. Berdasarkan teknik ini, setiap butir soal didiskusikan secara bersama-sama dengan beberapa ahli seperti guru yang mengajarkan materi, ahli materi, penyusun/pengembang kurikulum, ahli penilaian, ahli bahasa, berlatar belakang psikologi. Teknik ini sangat baik karena setiap butir soal dilihat secara bersama-sama berdasarkan kaidah penulisannya. Di samping itu, para penelaah dipersilakan mengomentari/ memperbaiki berdasarkan ilmu yang dimilikinya. Setiap komentar/masukan dari peserta diskusi dicatat oleh notulis. Setiap butir soal dapat dituntaskan secara bersama-sama, perbaikannya seperti apa. Namun, kelemahan teknik ini adalah memerlukan waktu lama untuk rnendiskusikan setiap satu butir soal.
Teknik panel merupakan suatu teknik menelaah butir soal yang setiap butir soalnya ditelaah berdasarkan kaidah penulisan butir soal, yaitu ditelaah dari segi materi, konstruksi, bahasa/budaya, kebenaran kunci jawaban/pedoman penskorannya yang dilakukan oleh beberapa penelaah. Caranya adalah beberapa penelaah diberikan: butir-butir soal yang akan ditelaah, format penelaahan, dan pedoman penilaian/ penelaahannya. Pada tahap awal para penelaah diberikan pengarahan, kemudian tahap berikutnya para penelaah berkerja sendiri-sendiri di tempat yang tidak sama. Para penelaah dipersilakan memperbaiki langsung pada teks soal dan memberikan komentarnya serta memberikan nilai pada setiap butir soalnya yang kriterianya adalah: baik, diperbaiki, atau diganti.
Secara ideal penelaah butir soal di samping memiliki latar belakang materi yang diujikan, beberapa penelaah yang diminta untuk menelaah butir soal memiliki keterampilan, seperti guru yang mengajarkan materi itu, ahli materi, ahli pengembang kurikulum, ahli penilaian, psikolog, ahli bahasa, ahli kebijakan pendidikan, atau lainnya.
Prosedur Analisis Secara Kualitatif
Dalam menganalisis butir soal secara kualitatif, penggunaan format penelaahan soal akan sangat membantu dan mempermudah prosedur pelaksanaannya. Format penelaahan soal digunakan sebagai dasar untuk menganalisis setiap butir soal. Format penelaahan soal yang dimaksud adalah format penelaahan butir soal: uraian, pilihan ganda, tes perbuatan dan instrumen non-tes.
Agar penelaah dapat dengan mudah menggunakan format penelaahan soal, maka para penelaah perlu memperhatikan petunjuk pengisian formatnya. Petunjuknya adalah seperti berikut ini.
1. Analisislah setiap butir soal berdasarkan semua kriteria yang tertera di dalam format!
2. Berilah tanda cek (V) pada kolom "Ya" bila soal yang ditelaah sudah sesuai dengan kriteria!
3. Berilah tanda cek (V) pada kolom "Tidak" bila soal yang ditelaah tidak sesuai dengan kriteria, kemudian tuliskan alasan pada ruang catatan atau pada teks soal dan perbaikannya.
a. Format Penelaahan Butir Soal Bentuk Uraian
FORMAT PENELAAHAN BUTIR SOAL BENTUK URAIAN
Mata Pelajaran : .................................
Kelas/semester : .................................
Penelaah : .................................
No. | Aspek yang ditelaah | Nomor Soal | |||||||||
1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | … | ||
A. 1 2 3 4 | Materi Soal sesuai dengan indikator (menuntut tes tertulis untuk bentuk Uraian) Batasan pertanyaan dan jawaban yang diharapkan sudah sesuai Materi yang ditanyakan sesuai dengan kompetensi (urgensi, relevasi, kontinyuitas, keterpakaian sehari-hari tinggi) Isi materi yang ditanyakan sesuai dengan jenjang jenis sekolah atau tingkat kelas | ||||||||||
B 5 6 7 8 | Konstruksi Menggunakan kata tanya atau perintah yang menuntut jawaban uraian Ada petunjuk yang jelas tentang cara mengerjakan soal Ada pedoman penskorannya Tabel, gambar, grafik, peta, atau yang sejenisnya disajikan dengan jelas dan terbaca | ||||||||||
C. 9 10 11 12 13 | Bahasa/Budaya Rumusan kalimat coal komunikatif Butir soal menggunakan bahasa Indonesia yang baku Tidak menggunakan kata/ungkapan yang menimbulkan penafsiran ganda atau salah pengertian Tidak menggunakan bahasa yang berlaku setempat/tabu Rumusan soal tidak mengandung |
Keterangan: Berilah tanda (V) bila tidak sesuai dengan aspek yang ditelaah!
b. Format Penelaahan Soal Bentuk Pilihan Ganda
FORMAT PENELAAHAN SOAL BENTUK PILIHAN GANDA
Mata Pelajaran : .................................
Kelas/semester : .................................
Penelaah : .................................
No. | Aspek yang ditelaah | Nomor Soal | |||||
1 | 2 | 3 | 4 | 5 | … | ||
A. 1 | Materi Soal sesuai dengan indikator (menuntut tes tertulis untuk bentuk pilihan ganda | ||||||
2. | Materi yang ditanyakan sesuai dengan kompetensi (urgensi, relevasi, kontinyuitas, keterpakaian sehari-hari tinggi) | ||||||
3. | Pilihan jawaban homogen dan logis | ||||||
4. | Hanya ada satu kunci jawaban | ||||||
B. 5. | Konstruksi Pokok soal dirumuskan dengan singkat, jelas, dan tegas | ||||||
6. | Rumusan pokok soal dan pilihan jawaban merupakan pernyataan yang diperlukan saja | ||||||
7. | Pokok soal tidak memberi petunjuk kunci jawaban | ||||||
8 | Pokok soal bebas dan pernyataan yang bersifat negatif ganda | ||||||
9. | Pilihan jawaban homogen dan logis ditinjau dari segi materi | ||||||
10. | Gambar, grafik, tabel, diagram, atau sejenisnya jelas dan berfungsi | ||||||
11. | Panjang pilihan jawaban relatif sama | ||||||
12. | Pilihan jawaban tidak menggunakan pernyataan "semua jawaban di atas salah/benar" dan sejenisnya | ||||||
13. | Pilihan jawaban yang berbentuk angka/waktu disusun berdasarkan urutan besar kecilnya angka atau kronologisnya | ||||||
14. | Butir soal tidak bergantung pada jawaban soal sebelumnya | ||||||
C. 15. | Bahasa/Budaya Menggunakan bahasa yang sesuai dengan kaidah bahasa Indonesia | ||||||
16. | Menggunakan bahasa yang komunikatif | ||||||
17. | Tidak menggunakan bahasa yang berlaku setempat/tabu | ||||||
18. | Pilihan jawaban tidak mengulang kata/kelompok kata yang sama, kecuali merupakan satu kesatuan pengertian |
Keterangan: Berilahtanda (V) bila tidak sesuai dengan aspek yang ditelaah!
c. Format Penelaahan untuk Instrumen Perbuatan
FORMAT PENELAAHAN SOAL TES PERBUATAN
Mata Pelajaran : .................................
Kelas/semester : .................................
Penelaah : .................................
No. | Aspek yang ditelaah | Nomor Soal | |||
1 | 2 | 3 | ... | ||
A. 1. 2. 3. 4. | Materi Soal sudah sesuai dengan indikator (menuntut tes perbuatan: kinerja, hasil karya, atau penugasan) Pertanyaan dan jawaban yang diharapkan sudah sesuai Materi sesuai dengan tuntutan kompetensi (urgensi, relevansi, kontinyuitas, keterpakaian sehari-hari tinggi) Isi materi yang ditanyakan sesuai dengan jenjang jenis sekolah taua tingkat kelas | ||||
B. 5. | Konstruksi Menggunakan kata tanya atau perintah yang menuntut jawaban perbuatan/praktik | ||||
6. 7. 8. | Ada petunjuk yang jelas tentang cara mengejakan soal Ada pedoman penskorannya Tabel, peta, gambar, grafik, atau sejenisnya disajkian dengan jelas dan terbaca | ||||
C. 9. 10. 11. 12. 13. | Bahasa/Budaya Rumussan soal komunikatif Butir soal menggunakan bahasa Indonesia yang baku Tidak menggunakan kata /ungkapan yang menimbulkan penafsiran ganda atau salah pengertian Tidak menggunakan bahasa yang berlaku setempat/tabu Rumusan soal tidak mengandung kata/ungkatpan yang dapat menyinggung perasaan siswa |
d. Format Penelaahan untuk Instrumen Non-Tes
FORMAT PENELAAHAN SOAL NON-TES
Nama Tes : .................................
Kelas/semester : .................................
Penelaah : .................................
No. | Aspek yang ditelaah | Nomor Soal | |||
1 | 2 | 3 | ... | ||
A. 1. 2. | Materi Pernyataan/soal sudah sesuai dengan rumusan indikator dalam kisi-kisi. Aspek yang diukur pada setiap pernyataan sudah sesuai dengan tuntutan dalam kisi-kisi (misal untuk tes sikap: aspek koginisi, afeksi, atau konasinya dan pernyataan positif atau negatifnya). | ||||
B. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. | Konstruksi Pernyataan dirumuskan dengan singkat (tidak melebihi 20 kata) dan jelas. Kalimatnya bebas dari pernyaatn yang tidak relevan objek yang dipersoalkan atau kalimatnya merupakan pernyataan yang diperlukan saja. Kalimatnya bebas dari pernyataan yang bersifat negatif ganda. Kalimatnya bebas dari pernyataan yang mengacu pada masa lalu. Kalimatnya bebas dari pernyataan faktual atau dapat diinterpretasikan sebagai fakta. Kalimatnya bebas dari pernyataan dapat diinterpretasikan lebih. Kalimatnya bebas dari pernyataan yang mungkin disetujui atau dikosongkan oleh hampir semua responden. Setiap pernyataan hanya berisi satu gagasan secara lengkap. Kalimatnya bebas dari pernyaan yang tidak pasti pasti seperti semua, selalu, kadang-kadang, tidak satupun, tidak pernah. Jangan banyak menggunakan kata hanya, sekedar, semata-mata. Gunakan seperlunya. | ||||
C. 13. 14. 15. | Bahasa/Budaya Bahasa soal harus komunikatif dan sesuai dengan jenjang pendidikan siswa atau responden. Soal harus menggunakan bahasa Indonesia baku. Soal tidak menggunakan bahasa yang berlaku setempat/tabu. |
Keterangan: Berilah tanda (V) bila tidak sesuai dengan aspek yang ditelaah!