2 Tahun Anies Baswedan: Tinjauan Atas Survei Populi Center

Gubernur DKI Jakarta Anies Baswedan. Foto: Kumparan

Sudah dua tahun Anies Baswedan memimpin Jakarta. Setiap orang boleh jadi punya persepsi masing-masing soal kelebihan dan kekurangan Jakarta hari ini. Namun, persepsi individual saja tidaklah absah.

Salah satu cara untuk mendapatkan ukuran keberhasilan yang sahih adalah dengan melalui survei ilmiah. Dalam hal ini, survei yang dimaksud adalah agregat persepsi dan rasionalitas warga Jakarta -- sebagai pihak yang merasakan kebijakan gubernur -- untuk mengukur apakah dua tahun kepemimpinan Anies sudah cukup berhasil atau sebaliknya berdasarkan indikator yang objektif dan apa adanya.

Usaha itu sudah dilakukan oleh Populi Center pada 14 Oktober 2019 lalu melalui survei bertajuk, “Jakarta untuk Siapa? Kebijakan Publik dan Rasionalitas Warga Jakarta dalam Dua Tahun Pemerintahan Anies Baswedan.” Dengan sampel sebanyak 600 responden yang dipecah dalam kelompok eksperimental (treatment group) dan kelompok kontrol (control group), sejatinya hasil survei ini sangat penting untuk ditinjau. Secara umum, 73,2 persen warga Jakarta menilai bahwa dalam satu tahun terakhir Jakarta mengalami kemajuan.

Salah satu cara mengukur kemajuan adalah dengan membandingkannya dengan gubernur era sebelumnya, Basuki Tjahaja Purnama alias Ahok. Meskipun sebagian besar puas, Populi Center menyebut bahwa secara rasional, warga Jakarta menganggap kebijakan Anies Baswedan tidak jauh lebih baik dari kebijakan Ahok dalam mengelola Jakarta. Benarkah demikian?

Problem Metodologis: Bias dan Tendensius

Dikarenakan tidak tersedia data mentah hasil survei dan pelaksanaan, fokus tinjauan ini adalah pada rancangan surveinya melalui dokumen pemaparan dari Populi Center. Dalam hal ini, mari kita lihat dua aspek di mana sampel dibagi menjadi treatment group dan control group.

Pada treatment group, pertanyaan yang diajukan adalah dengan menampilkan nama gubernur pembuat kebijakan (misal: reklamasi era Ahok dan reklamasi era Anies, KJP era Ahok dan KJP plus era Anies, dan seterusnya). Saya mengasumsikan bahwa penyebutan nama gubernur pembuat kebijakan adalah deskripsi atas persepsi warga Jakarta pada periode watu tertentu (dengan menyebut era Ahok dan era Anies). Jika demikian, maka desain pertanyaan dan hasil yang didapat pada treatment group adalah deskriptif-longitudinal (menggambarkan keadaan secara periodik).

Masalahnya adalah, sejak awal Populi Center mengklaim desain surveinya sebagai survei eksperimental. Padahal, desain pertanyaan yang diberikan pada treatment grup justru menurut saya lebih cenderung non-eksperimental. Sehingga menjadi problem metodologis karena menempatkan pertanyaan deskriptif (non-eksperimental) ke dalam kelompok treatment yang seharusnya eksperimental. Perlu diingat bahwa, survei eksperimental harus memiliki tingkat validitas internal (hubungan sebab-akibat) yang tinggi. Alih-alih menggambarkan korelasi sebab-akibat, justru yang terjadi hanya perbedaan agregat opini warga Jakarta pada periode Ahok dan Anies.

Anggap survei yang dilakukan Populi Center memang tidak murni eksperimental (sebagaimana klaimnya), di mana hubungan kausalitas tergambar pada desain pertanyaan yang diajukan pada control group. Pada control group, pertanyaan yang diajukan adalah jenis/narasi kebijakan tanpa menyebut pemilik kebijakan tersebut. Pengajuan pertanyaan kontrol memang penting untuk mencegah ‘efek ekstra’ di luar variabel yang tidak dikaji. Tapi bagaimana jika ternyata formulasi pertanyaan yang diajukan sendiri justru memiliki masalah serius?

Sayangnya inilah yang terjadi dalam survei Populi Center. Formulasi pertanyaan yang diajukan pada control group sangat bias dan tendensius, sehingga menimbulkan problem metodologis yang sangat serius. Kebijakan yang diajukan dalam pertanyaan adalah membandingkan narasi antara era Ahok dan era Anies seperti KPJ, reklamasi, dan penataan PKL, serta kebijakan yang hanya ada di era Anies seperti program JakLingko dan DP 0 rupiah.

Mari kita lihat beberapa di antaranya. Pertama, terkait dengan kebijakan Kartu Jakarta Pintar (KJP). Populi Center menyebut bahwa di era Ahok, KJP tidak dapat ditarik tunai dengan tujuan menghindari penyalahgunaan dana bantuan, sedangkan di era Anies, KJP dapat ditarik tunai meskipun ada potensi penyalahgunaan. Pertanyaan ini jelas sangat bias dan tendensius. Memasukkan faktor ‘penyalahgunaan dana’ di mana era Ahok tidak dapat tarik tunai untuk menghindari penyalahgunaan dana dan era Anies dapat ditarik dana meski ada potensi penyalahgunaan adalah penggiringan opini yang menyesatkan. Menyesatkan di sini dalam arti, hasil yang didapat tidak menggambarkan kondisi utuh karena responden sudah dimanipulasi dengan pertanyaan yang bias.

Memang benar bahwa memanipulasi pertanyaan itu sangat penting agar mendapatkan hasil yang tepat. Tapi tentunya harus dilakukan dalam kerangka objektif, bukan justru menggiring lewat narasi opini di dalam pertanyaan itu sendiri. Bayangkan Anda adalah warga Jakarta biasa yang kebetulan menjadi responden survei tersebut. Potensi bagi Anda untuk mengatakan KJP plus era Anies tidak tepat akan sangat tinggi karena Anda dipaparkan narasi bahwa KJP plus yang bisa dicairkan berpotensi disalahgunakan. Karena berpotensi disalahgunakan, Anda pasti cenderung mengatakan bahwa kebijakan itu tidak tepat.

Contoh lain adalah kebijakan penanggulangan banjir melalui program pelebaran sungai. Populi Center menyebut bahwa di era Ahok, pelebaran sungai dilakukan melalui betonisasi dengan risiko penggusuran lebih rendah. Sedangkan di era Anies, pelebaran sungai dan penanaman pohon dengan risiko penggusuran lebih tinggi. Pertanyaan yang menyebut bahwa betonisasi pinggiran sungai (normalisasi) memiliki risiko penggusuran yang lebih rendah daripada penanaman pohon (naturalisasi) adalah kebohongan yang menyesatkan.

Laporan penggusuran yang dibuat oleh Lembaga Bantuan Hukum Jakarta (LBH Jakarta) justru menunjukkan bahwa angka penggusuran meningkat pada tahun-tahun di mana normalisasi sungai melalui betonisasi dilakukan. Hingga Desember 2015, proyek normalisasi sungai Ciliwung meningkat hingga mencapai 47 persen. LBH Jakarta mencatat, bahwa normalisasi sungai menyumbang penggusuran terbanyak kedua setelah penertiban pada 2015. Dari 113 kasus penggusuran di tahun 2015, 37 kasus di antaranya adalah untuk normalisasi sungai. Begitu pun pada 2016, normalisasi menyumbang kasus penggusuran terbanyak kedua. Oleh sebab itu, sangat sulit untuk mengatakan bahwa normalisasi sungai melalui betonisasi memiliki potensi penggusuran yang rendah.

Begitu pun di pertanyaan lainnya, seperti kebijakan soal reklamasi. Kebijakan reklamasi jelas memiliki faktor-faktor lain yang terkait di dalamnya. Di era Ahok, reklamasi memang gencar dilakukan, sedangkan Anies sempat menghentikannya. Sayangnya, pertanyaan yang diajukan begitu tendensius karena menyebut bahwa kebijakan reklamasi beserta kewajiban pengembang membayar kontribusi 15 persen dengan yang tanpa kewajiban. Apakah tujuan reklamasi hanya soal kontribusi pengembang? Tentu saja tidak. Kita pun bisa memodifikasi pertanyaan tendensius dengan mengajukan pertanyaan bernada lain, misalnya, ‘kebijakan reklamasi dengan indikasi melalui proses administrasi bermasalah dan merugikan negara.’ Jika seperti ini diajukan, hasilnya saya yakin pasti akan jauh berbeda, karena memang sama-sama tendensius dan tidak objektif.

Dari tiga pertanyaan itu saja, jelas menunjukkan bahwa hasil survei yang dilakukan tidak bisa dijadikan sebagai basis ilmiah untuk mengukur kinerja pemerintah. Secara umum, formulasi pertanyaan terutama yang diajukan pada control group memiliki bias yang jelas memiliki hasil tidak valid. Ia tidak menggambarkan kondisi yang sesungguhnya. Hal ini seperti membuat pertanyaan untuk mengontrol pilihan pada kebijakan infrastruktur era SBY vs Jokowi, misalnya. Jika diajukan pertanyaan kira-kira seperti ini: ‘berhati-hati membangun infrastruktur sehingga tidak terjadi korupsi’ dengan ‘melaksanakan pembangunan infrastruktur meskipun harus berutang yang besar dan rawan korupsi.’ Saya yakin jawaban yang akan dipilih paling banyak yang pertama. Padahal, gencarnya pembangunan infrastruktur yang sudah dilakukan pemerintah Jokowi diakui sebagian ekonom memiliki dampak positif terhadap konektivitas dan pemerataan daerah.

Tidak Sahih

Dengan formulasi pertanyaan untuk control group yang bias dan tendensius seperti di atas, Populi Center justru menjadikannya sebagai ‘menu utama’ dari penyampaian hasil survei ini. Populi Center mengklaim bahwa, ‘dengan penggunaan survei eksperimental tersebut diharapkan hasil survei yang diperoleh lebih menjelaskan apa yang sebenarnya melatarbelakangi persepsi publik Jakarta terhadap kebijakan dan persoalan publik yang terjadi selama dua tahun kepemimpinan Anies Baswedan.’

Tidak hanya itu, Populi Center juga memperjelas frame-nya: ‘Dalam model eksperimental ditemukan bahwa secara rasional dengan pertanyaan kontrol menunjukan kebijakan Anies tidak jauh lebih baik dari kebijakan Ahok.’ Hal ini membangun insinuasi yang salah dan terindikasi sengaja dibangun oleh pelaksana survei (melalui pertanyaan tendensius di control group) bahwa ‘warga Jakarta memang lebih puas di zaman Anies, tapi hal tersebut karena alasan yang tidak rasional, sebaliknya, kalau warga rasional lebih memilih kebijakan Ahok.’

Insinuasi ini terasa sekali dibangun di slide awal dan slide paling akhir. Padahal, klaim tersebut dibangun di atas metode yang meragukan dan pertanyaan-pertanyaan untuk sampel kontrol yang jelas bias dan tendensius. Bahkan ada pertanyaan yang mengandung kebohongan (kebijakan betonisasi sungai berpotensi penggusuran yang lebih rendah).

Patut disayangkan bahwa survei yang diharapkan menjadi kontrol kebijakan pemerintah agar menghasilkan kinerja yang lebih baik lagi, justru tidak sahih karena memiliki cacat akademik yang serius. Persoalan lainnya, justru hasil survei dari pertanyaan kontrol yang cacat itu menjadi inti narasi yang dibangun dalam penyampaian hasil survei Populi Center. Kalau seperti ini, survei yang dilakukan terkesan semata-mata hanya untuk membangun opini publik, bukan dalam rangka mengevaluasi pemerintah secara objektif.

Grady Nagara. Manajer Program Next Policy