Açık hakem değerlendirmesi hakem davranışlarını nasıl etkiliyor?

Bilimsel veri ve bilgilerin kamuoyuyla paylaşılması büyük oranda akademik dergiler aracılığıyla yapılıyor. Bu uygulama 17. yüzyıldan beri böyle. Yayınlanmaya değer bilimsel makaleleri seçmek için kullanılan hakem değerlendirmesi ise 20. yüzyıldan itibaren akademik dergilerin büyük çoğunluğu tarafından benimsenmiş durumda. Hakem değerlendirmesi güvene dayalı, denetlenmesi zor ve şeffaf olmayan kapalı bir sistem. Haliyle şüphe oluşturması ve eleştirilmesi son derece normal. Bu durumu düzeltmek için bazı dergiler adına “Açık Hakem Değerlendirmesi” dedikleri yeni bir sistemi uygulamaya koydular. Bu yöntemde bir makale yayınlanırken o makale için yapılmış hakem değerlendirmeleri de birlikte yayınlanmaktadır. Fakat bu da hakemlerin davranış şekillerini etkileyebilecek olması nedeniyle bazı tereddütlere sebep olmuş görünüyor. Yeni sistemin etkilerini inceleyen çok az sayıda çalışma mevcut. Bunlardan biri hakem davranışları üzerine yapılan pilot çalışma.

Pilot araştırmanın içeriğinde ne var?

Bu araştırma Elsevier’e ait 5 akademik dergi kullanılarak açık hakem değerlendirmesinin hakem davranışları üzerine herhangi bir etkisi olup olmadığı tespit etmek için yapılmış. Çalışmada incelenen davranış türleri: Hakemlik yapma isteği, hakemin editöre ve yazarlara verdiği tavsiye tipleri, hakemin değerlendirmeyi tamamlama süresi ve değerlendirmenin tavrı. Araştırmada tarafsız olmak ve herhangi bir eğilim oluşumu engellemek için de bazı tedbirler alınmış. Örneğin çalışmada başvuru sayısı ve etki faktörü gibi etkenler açısından bir birine çok yakın dergiler seçilmiş. Ayrıca benzer nitelikte fakat kapalı hakem değerlendirme sistemi kullanan dergilerden de bir kontrol gurubu oluşturulmuş. Çalışmada 2 acık erişim dergisi ve 3 abonelik usulüyle çalışan dergi kullanılmış. Çalışmada kullanılan makalelerin yazarları ve hakemler ayrıntılı olarak bilgilendirilmiş ve hakemlerden değerlendirmelerini yayınlamak için izin alınmış. Ayrıca hakemlere kimliklerini gizleme imkânı verilmiş. Hakemlerin çalışmadan önceki davranışları ile çalışma sırasında gösterdikleri davranışlar karşılaştırılmış. Çalışmada 2012 ile 2017 yılları arasında toplanan veriler kullanılmış.

Pilot araştırmanın bulguları

Araştırmada genel olarak hakem değerlendirmelerinin açık olarak yayınlamasının hakem davranışları üzerinde dikkate değer bir etkisi olmadığı sonucuna ulaşılmış. Davranış türleri açısından bakıldığında varılan sonuçlar şunlardır.

• Hakemlik yapma isteği: Hakemlerin değerlendirmelerinin yayınlanacağını bilmeleri onların hakemlik yapma istekleri üzerinde ciddi bir etkisi olmamış. Hakemlik kabul oranlarında genel bir düşme görülse de bu azalma açık hakem değerlendirmesi ile ilgili olmayıp kontrol grubunda da gözlenen makale arzının artmasıyla bağlantılı genel bir eğilimdir. İlginç olarak sadece “diğer” statüsündeki hakemler yani profesör ve ya doktorası olmayan uzmanların hakemlik yapmak için daha hevesliği olduğu gözlemlenmiş.
• Hakem tavsiyeleri: Kontrol grubuyla yapılan karşılaştırmada kimliği anonim kalan hakemlerin verdiği tavsiyelerde bir farklılık gözlemlenmemek ile birlikte isminin açıklanmasını kabul eden hakemlerin tavsiyelerinde anlamlı bir farklılık saptanmış. Kimliğinin açıklanmasını kabul eden hakemler çok daha yüksek oranda kabul ve ya küçük düzeltme tavsiye ederek daha olumlu değerlendirmeler yapmışlar. Bu arada belirmek gerekir ki isminin açıklanmasını kabul eden hakem oranı %8.1 ile çok küçük bir oran. Ayrıca hakem statüleri arasında sadece genç ve akademisyen olmayan hakemlerin daha olumlu değerlendirme yaptığı görülmüş.
• Değerlendirme süresi: Pilot çalışma öncesinde ortalama süre 28.2±4.6 gün iken çalışma sırasında bu süre 30.4±4.4 güne çıkmış fakat bu artışın değerlendirmelerin yayınlanmasından değil zamanla makale sayısının artmasından kaynaklandığı tespit edilmiş. Ayrıca doktora sahibi hakemlerin değerlendirmelerini tamamlamak için biraz daha fazla süre kullandıkları görülmüş.
• Değerlendirmenin tavrı: Bu tür açısında da dikkate değer bir değişim tespit edilememiş. Erkek hakemlerin kadınlara oranla biraz daha pozitif değerlendirme yaptıkları görülmüş fakat bu gözlem %5 gibi düşük bir seviyede olduğundan ihtiyatla yaklaşılması gerektiği belirtilmiş.

Açık hakem değerlendirmesi hakkında düşünceler

Açık hakem değerlendirmesinin etkileri üzerine yapılan çalışmalar bir kanı varmak için yetersiz. Bu nedenle tüm disiplinleri kapsayan araştırmalara ihtiyaç var. Hakem değerlendirmesinin yayınlanmasının kapalı sisteme göre şeffaflığı arıttırdığı da tartışmasız bir husus. Bununla beraber hakemlerin anonim kalması ise önemli bir faktör olarak ortaya çıkıyor zira hakemler kimlikleri gizli kaldığı zaman kendilerini daha rahat hissediyorlar.

Açık hakem değerlendirme sisteminin faydalarıç

Tabi ki en öne çıkan faydası sistemi daha şeffaf hale getirmesi. Bunun dışında açık hakem sistemi ile akademisyenlerin ve özellikle genç olanların bu değerlendirmelerden öğrendikleri ile makale kalitelerini arttırmaları ve nasıl hakemlik yapılacağını öğrenmeleri sayılabilir.