Survei yang dilakukan CELIOS kembali menjadi bahan perbincangan publik. Namun, sebelum hasilnya dijadikan rujukan untuk menilai kondisi masyarakat secara luas, ada sejumlah aspek metodologi yang perlu dicermati, terutama terkait cara pengumpulan data dan pemilihan responden.
Berdasarkan informasi yang disampaikan, survei tersebut dilakukan secara daring atau online dengan merekrut responden melalui iklan Meta. Jumlah responden yang terlibat mencapai 1.122 orang. Meski jumlah tersebut terlihat cukup besar, besarnya sampel tidak otomatis menjamin hasil survei dapat mewakili seluruh populasi.
Persoalan utamanya terletak pada metode pemilihan responden. Survei daring yang merekrut peserta melalui iklan media sosial berpotensi mengalami sampling bias apabila responden tidak dipilih secara acak dari populasi sasaran. Akibatnya, kelompok yang memiliki akses internet, aktif di media sosial, atau tertarik pada topik survei bisa lebih banyak terwakili dibandingkan kelompok lainnya.
Selain itu, terdapat potensi self-selection bias, yakni bias yang muncul ketika seseorang memutuskan sendiri untuk berpartisipasi. Orang yang memiliki pandangan kuat terhadap suatu isu mungkin lebih terdorong mengisi survei dibandingkan mereka yang tidak terlalu peduli. Kondisi ini dapat membuat hasil survei lebih mencerminkan pandangan kelompok tertentu daripada distribusi pendapat masyarakat secara keseluruhan.
Aspek lain yang perlu diperhatikan adalah mekanisme verifikasi responden. Apabila survei tidak memiliki pengamanan yang memadai, terdapat risiko satu orang mengisi kuesioner lebih dari sekali. Hal ini tidak berarti manipulasi benar-benar terjadi, tetapi kemungkinan tersebut perlu diantisipasi melalui pembatasan pengisian, verifikasi identitas atau perangkat, serta pemeriksaan kualitas data.
Karena itu, jumlah 1.122 responden tidak bisa menjadi satu-satunya dasar untuk menyimpulkan bahwa hasil survei mencerminkan kondisi faktual masyarakat Indonesia. Representativitas sampel, mekanisme rekrutmen, tingkat partisipasi, serta prosedur pengendalian kualitas data justru menjadi faktor penting untuk menilai kredibilitas sebuah survei.
Dalam penelitian opini publik, survei dengan sampel nonprobabilitas tetap dapat digunakan untuk tujuan tertentu. Namun, peneliti perlu menjelaskan keterbatasan metode tersebut dan berhati-hati dalam melakukan generalisasi. Tanpa desain sampel dan pembobotan yang memadai, hasilnya tidak dapat begitu saja disamakan dengan survei probabilitas yang dirancang untuk mewakili populasi sasaran.
Dengan demikian, hasil survei CELIOS yang menggunakan rekrutmen daring melalui iklan Meta lebih tepat dibaca secara hati-hati sebagai gambaran respons dari peserta yang berhasil dijangkau dan bersedia berpartisipasi. Hasil tersebut dapat menjadi bahan untuk membaca dinamika opini di ruang digital, tetapi tidak otomatis menggambarkan keseluruhan masyarakat secara akurat dan objektif.
Pada akhirnya, publik perlu membedakan antara temuan survei yang memiliki dasar representasi populasi dan gambaran sentimen dari responden sukarela di ruang digital. Kritik terhadap metodologi bukan berarti menolak hasil penelitian sejak awal, melainkan memastikan setiap kesimpulan disampaikan secara proporsional, transparan, dan sesuai dengan kekuatan bukti yang tersedia.
