Bir araştırmanın raporu ne kadar özenli hazırlanırsa hazırlansın, dayandığı veri sahada toplanır. Sahada yapılan bir hata, örneğin yanlış okunan bir soru, kotası dolmuş bir grupla yapılan görüşme ya da hiç yapılmamış ama yapılmış gibi kaydedilmiş bir anket, analize sessizce taşınır. Bu yüzden kalite kontrol, saha araştırmasının en kritik parçalarından biridir. Bu yazıda kalite kontrolün sahadan önce, saha sırasında ve sahadan sonra nasıl yapıldığını anlatıyoruz.
Kalite kontrol neden saha sürerken yapılmalı?
Kalite kontrolü sahanın sonuna bırakmak cazip görünür: bütün veri toplanır, sonra topluca bakılır. Sorun şu ki saha bittiğinde hataların çoğu artık düzeltilemez. Hatalı görüşme yapan anketör onlarca görüşmeyi aynı hatayla tamamlamıştır, kotalar yanlış dolmuştur, katılımcılara yeniden ulaşmak zorlaşmıştır.
Saha sürerken yapılan kontrol ise sorunu ortaya çıktığı gün yakalar. Bir anketörün görüşmeleri olağan dışı kısaysa bu ikinci günde fark edilir, anketörle konuşulur ve hata çoğalmadan durdurulur. Kısacası kalite, sahadan sonra ölçülen bir sonuç değil, saha boyunca yönetilen bir süreçtir.
Bunun bir maliyet boyutu da vardır. Saha sonunda fark edilen bir sorun, görüşmelerin yenilenmesini, takvimin uzamasını ve bazen ekibin yeniden sahaya çıkmasını gerektirir. Aynı sorun ilk günlerde yakalandığında ise genellikle bir telefon görüşmesi ve kısa bir hatırlatma eğitimi yeterli olur.
Sahadan önce: hatayı baştan önlemek
Kalite kontrolün ilk adımı saha başlamadan atılır.
Form testi. Anket, kullanılacağı ortamda (kâğıt, tablet, telefon ya da web) deneme görüşmeleriyle sınanır. Anlaşılmayan sorular, uzun kalan bölümler ve hatalı atlama kuralları bu aşamada düzeltilir.
Ekip seçimi. Projenin hedef kitlesine ve yöntemine uygun anketörler seçilir. Telefonla görüşme yapacak bir ekiple yüz yüze görüşme yapacak bir ekip aynı beceriyi istemez.
Projeye özel eğitim. Ekip araştırmanın amacını, formu, kotaları ve saha kurallarını öğrenir. Soruların nasıl okunacağı, yönlendirmeden nasıl kaçınılacağı ve zor durumlarda ne yapılacağı rol çalışmalarıyla pekiştirilir.
Açık kurallar. Hangi durumda görüşmenin geçersiz sayılacağı, kotanın nasıl takip edileceği ve sorunların kime, nasıl bildirileceği yazılı hale getirilir.
Saha materyalleri. Anketörün kimlik kartı, katılımcıya bırakılacak bilgilendirme notu ve varsa görsel kartlar sahadan önce hazırlanır. Eksik materyal sahada güven kaybına ve tutarsız uygulamaya yol açar.
Saha sırasında: her gün izlemek
Saha başladığında kontrol günlük bir rutine dönüşür.
Kota ve ilerleme. Her kota grubunda tamamlanan görüşmeler ve kalan ihtiyaç izlenir. Bir grup geride kalıyorsa saha planı güncellenir.
Görüşme süreleri. Formun makul bir sürede tamamlanması beklenir. Ortalamanın çok altında kalan görüşmeler, soruların atlandığına ya da aceleyle geçildiğine işaret edebilir.
Cevap kalıpları. Bir anketörün bütün görüşmelerinde aynı seçeneklerin işaretlenmesi, açık uçlu cevapların birbirine benzemesi ya da “fikrim yok” cevabının olağan dışı sık görülmesi dikkat gerektirir.
Zaman ve konum. Dijital yöntemlerde görüşmenin başlama ve bitiş zamanı kaydedilir; proje izin veriyorsa konum bilgisi de alınabilir. Aynı dakikalara yığılan görüşmeler ya da beklenmeyen konumlar incelenir.
Geri arama ile doğrulama. Tamamlanmış görüşmelerin bir bölümünde katılımcı yeniden aranır. Görüşmenin yapılıp yapılmadığı ve birkaç temel cevap doğrulanır. Hangi oranda yapılacağı projenin ölçeğine ve riskine göre belirlenir.
Sahada eşlik. Yüz yüze projelerde saha sorumlusunun bazı görüşmelere eşlik etmesi, anketörün formu nasıl uyguladığını yerinde görmeyi sağlar.
Geri bildirim. Kontrolde bulunan her sorun ilgili anketörle konuşulur. Amaç cezalandırmak değil, hatanın tekrarlanmasını önlemektir. İyi bir geri bildirim somuttur: hangi görüşmede, hangi soruda ne olduğu gösterilir ve doğrusu birlikte çalışılır. Hatayı düzelten anketör sahada kalır; aynı hatayı tekrarlayan anketörün görevi yeniden değerlendirilir.
Yönteme göre kontrol
Kontrolün mantığı her yöntemde aynıdır ama araçlar değişir.
- PAPI (kâğıt-kalem). Formlar saha sürerken düzenli toplanır; eksik ve tutarsız sayfalar erken yakalanır. Veri girişi ayrı bir aşama olduğu için giriş hataları da ayrıca kontrol edilir.
- CAPI (tabletle yüz yüze). Form içi kurallar hataların bir kısmını görüşme anında engeller. Süre, zaman ve konum bilgisi kontrolde kullanılır.
- CATI (telefon). Görüşmeler merkezi olarak izlenir; arama sonuçları, randevular ve görüşmeci bazında sonuçlar günlük incelenir.
- CAWI (çevrim içi). Görüşmeci olmadığı için kontrol cevaplara yönelir: dikkat soruları, doldurma süresi ve tutarlılık kontrolleriyle özensiz cevaplar ayıklanır.
Dört yöntemi yan yana görmek için veri toplama yöntemleri sayfamıza göz atabilirsiniz.
Şüpheli bir görüşme bulunursa ne yapılır?
Şüphe tek başına bir hüküm değildir. Kısa süren bir görüşme, katılımcının hızlı cevap vermesinden de kaynaklanabilir. Bu yüzden önce doğrulama yapılır. Sorun teyit edilirse:
- Kayıt veriden çıkarılır.
- Kota açığı doğarsa görüşme yenilenir.
- Aynı anketörün diğer görüşmeleri daha yakından incelenir.
- Gerekirse anketör yeniden eğitime alınır ya da projeden çıkarılır.
Bütün bu adımlar kayıt altına alınır ve proje sahibiyle paylaşılır.
Sahadan sonra: temizlik ve teslim
Saha bittiğinde veri son bir kontrolden geçer. Eksik kayıtlar, mantık dışı cevaplar ve kodlama hataları ayıklanır. Açık uçlu cevaplar kodlanacaksa kodlama planı uygulanır. Kodlamada da tutarlılığa bakılır: benzer cevapların aynı koda atanıp atanmadığı örnekler üzerinden kontrol edilir. Ardından veri kararlaştırılan formatta, saha sürecinin kısa bir özetiyle birlikte teslim edilir. Bu özet; tamamlanan görüşmeleri, kota durumunu ve kontrolde çıkarılan kayıtları gösterir.
Proje sahibinin rolü
Kalite kontrol yalnızca saha ekibinin işi değildir; proje sahibi de bu sürecin bir parçasıdır. Saha başlamadan önce birkaç konunun birlikte netleştirilmesi işi kolaylaştırır:
- Hangi durumda bir görüşmenin geçersiz sayılacağı,
- Geri aramayla doğrulamanın hangi kapsamda yapılacağı,
- Saha sürerken ilerlemenin hangi sıklıkta ve hangi biçimde paylaşılacağı,
- Kota açığı ya da takvim sapması olduğunda kararların nasıl alınacağı.
Bu kurallar baştan yazıldığında saha sırasında sürpriz azalır. Proje sahibi de ilerleme raporlarını okurken neye bakacağını bilir: tamamlanan görüşmeler, kota durumu, kontrolde çıkarılan kayıtlar ve bunların nedenleri. Kontrolde çıkarılan kayıtların açıkça raporlanması bir zayıflık değil, sürecin işlediğinin göstergesidir.
Kısa kontrol listesi
- Form, kullanılacağı ortamda deneme görüşmeleriyle test edildi mi?
- Ekip projeye özel eğitimden geçti mi?
- Kota ve ilerleme her gün izleniyor mu?
- Görüşme süreleri ve cevap kalıpları düzenli inceleniyor mu?
- Görüşmelerin bir bölümü geri aramayla doğrulanıyor mu?
- Bulunan sorunlar anketörle konuşuluyor ve kayda geçiyor mu?
- Teslimde saha özeti veriyle birlikte iletiliyor mu?
Sonuç
İyi bir kalite kontrol, sahada hiç hata olmayacağı varsayımına değil, hataların erken yakalanacağı bir düzene dayanır. Hazırlıkta önlenen, saha sürerken yakalanan ve teslimden önce temizlenen hatalar, raporun güvenilirliğini doğrudan belirler.
Saha kalitesini planlı yönetmek istiyorsanız saha operasyonları ve ekip yönetimi hizmetimizi inceleyin ya da projenizi bizimle paylaşın.
