Hakem Değerlendirme Süreci Bir Aldatmaca Mı?

Makaleler ve araştırma çalışmaları için uygulanan hakem değerlendirme sürecinin tarihi, 1752 yılına kadar uzanmaktadır. Bu süreç, ilk olarak “Royal Society of London” tarafından, “Philosophical Transactions” ismindeki dergilerine gelen makaleleri değerlendirmek için oluşturulmuştur. Daha sonra tüm akademik dünyada yaygınlaşan bir değerlendirme yöntemi olmuştur. O tarihlerde, değerlendirme süreci, editöre yardımcı olmak için gerçekleştirilirdi. Şimdilerde ise bu konuda görev yapanlar, daha çok makalelerdeki hataları gösteren bir imla kurulu gibi çalışmaktadırlar. 20. yüzyılın ortalarında çalışmaları değerlendiren hakemler, artık makaleleri yargılar bir biçimde ele almaya, ardından da hatalı buldukları yerleri yazarlara bildirmeye başladılar.

Genelde bu değerlendirme işi için para alınmaz ve bu, akademik topluluğa bir halk hizmeti olarak sunulurdu. Bu değerlendirmeyi yapan kişiler ise, özgeçmişlerine bu tecrübeyi yazarak bundan fayda sağlayabilirlerdi.

Bu gerçekten gerekli bir hizmet mi?

2005 yılında MIT’de, SCIgen isminde bir yazılım oluşturuldu ki bu yazılım hakkında daha detaylı bilgileri eski yazılarımızda paylaşmıştık. Bu yazılım, sahte bilimsel makaleleri kontrol etmek için geliştirilmiştir. Aslında bu yazılımın, asıl  oluşturulma sebebi, hakem değerlendirme sürecinin tamamen gereksiz ve hatalı olduğunu kanıtlamak ve akademik konferansların veya dergilerin, aslında hiçbir anlamı olmayan sahte makaleleri kabul ettiklerini göstermektir.

Bu yazılımdan sonra ortaya çıkan sonuçları, en çok medya dikkate almış ve sonunda hakem değerlendirme sürecinin gerçekten yararlı mı yoksa zararlı mı olduğu tartışılmaya ve şu sorular sorulmaya başlanmıştır:

• Bilimsel dergiler, gönderilen akademik makaleleri gözden geçirmek için gerçekten bir çaba harcıyor mu?

• Yoksa bu değerlendirme süreci, derginin ne kadar kaliteli olduğunu göstermek için uygulanan bir göz boyama taktiği mi?

Hakem değerlendirme çemberi

Ortaya çıkan sonuçlardan ve bu konuda artan endişelerden sonra, Kasım 2014’de “Nature” dergisinde, hakem değerlendirme çemberi hakkında bir makale yayınlandı. Buna göre, her hakem başka bir hakemin çalışmasını değerlendirecekti ve ortaya çıkan sonuçlar dergiye gönderilecekti. Fakat sonuçlar pek beklendiği gibi olmadı; aslında ortaya ciddi bir sonuç çıkmadı. Çünkü bu çalışmalar, o kadar hızlı bir şekilde değerlendirilip, dergiye geri gönderildi ki (genelde 24 saatten de az bir sürede) derginin editörleri yapılan işin kalitesinden doğal olarak şüphe duydu ve sonuçları açıklamadılar.

Kalite düşüyor

Ciddi olarak gerçekleştirilen bir hakem değerlendirme süreci, akademik dürüstlüğün ve saygınlığın bir işareti olarak kabul edilir. Fakat gelin görün ki açık erişime sahip yayınların artmasının ardından, makale başına ücret kesen “öde ve yayınla” tarzında dergilerin çıkması, yayıncılar cephesinde uygulanan hakem değerlendirme sürecini oldukça azaltmıştır. Bundan dolayı SCIgen gibi programlar akademik yayıncılığın kalitesi üzerine ciddi tartışmalar çıkmasına ve şu sorunun sorulmasına neden olmuştur: Akademik değerlendirme aslında bir aldatmaca mı?