Akademik Yayınlara Gelen Hakem Yorumlarının Kaba Bir Dille Yazılmış Olması STEM’i Olumsuz Etkiliyor Mu?
Hakemli araştırmalar kaliteli bilimsel yayınların oluşması ve bilimin ilerlemesi için çok önemlidir. İdeal olarak, hakemlik süreci bir çalışmanın bilimsel değerinin ve güvenilirliğinin tarafsız, adil bir değerlendirmesidir. Bununla birlikte, iyi belgelenmiş önyargılar tüm akran değerlendirme yöntemlerinde ortaya çıkar. Sistemik önyargıların hakem değerlendirmesinin sonuçlarını doğrudan etkilediği gösterilmiştir, ancak yazarlarla paylaşılan profesyonel olmayan hakem yorumlarının etkileri hakkında çok az şey bilinmektedir.
Bir akademik yayının yayınlanması sürecinde akran denetçilerinin veya hakemlerin görevi, makaleleri değerlendirmek ve çeşitli iyileştirme önerileri sunmaktır. Bu sayede, akademik dergilerin yüksek kaliteli bilimsel çalışmaları yayınlamaları sağlanır. Ancak çoğu zaman, hakemlerin yaptıklarının bu tanımdan oldukça uzak olduğu anlaşılmıştır. 46 ülkeden ve 14 farklı disiplinden toplam 1106 bilim insanının katıldığı bir çalışma ile hakemlerin akademisyenlerin çalışma hayatlarında ne gibi olumsuz etkilerinin olabileceğini açıklamıştır.
Çalışmanın detayları
Bilim, teknoloji, mühendislik ve matematik (STEM) alanlarındaki uluslararası katılımcıların anonim bir araştırmasında, profesyonel olmayan yorumlar almanın uzun vadeli etkilerinin yaygınlığını ve yazar algıları araştırılmıştır. Özellikle, profesyonel olmayan bir akran değerlendirmesi raporu aldıktan sonra yazarların bilimsel yetenek, verimlilik ve kariyer yörüngesi algıları değerlendirilmiştir.
Geçtiğimiz ay yayınlanan bu çalışma, akademik yayınlara gelen hakem değerlendirmelerinin ve yorumlarının kötü ve kaba bir dille yapılmasının malesef yaygın olduğunu gösteriyor. Bu olumsuz yorumların da yayına ve yayını yapan ekibe zararları olabileceği tartışılıyor.
Akademik camiada bu konu “ikinci hakem” şakası ile anlatılır. İkinci hakem, bir derginin kendisine bir yayın için değerlendirme yapsın diye gönderdiği makaleyi okumak için uğraşmayan, hatta o çalışmayı küçümseyen veya doğrudan saldırgan bir dilde yorumlar sıralayan ve de kendi çıkarları için alakasız alıntıların yapılmasını zorunlu koşan kişi olarak yorumlanır. Belki buna gülüyorsunuz, ama bu gülünecek bir mesele değil. Bu profesyonel olmayan davranışlar ne yazıkki o kadar yaygın ki, “Yorumcu 2 Durdurulmalı!” adı ile 25.000’den fazla üyesi olan bir Facebook grubu bile mevcut.
Bu araştırma, kaba bir dil ile yapılmış yorumların ciddi olumsuz etkilerinin olabileceğini ispatlıyor, özellikle de spesifik gruplara mensup yazarlar için. Bu çalışma kapsamında anonimlik sözü verilen katılımcıların yarısından fazlası, en az bir “profesyonel olmayan” inceleme aldıklarını bildirmişler ve bunların çoğunluğu da birden fazla sorunlu yorum aldıklarını söylemişler. Yazarlar, çalışmalarına aldıkları yorumların belli bir bilim adamını kişisel hedefine alma, yapıcı eleştiriden yoksun olma ve sadece gereksiz yere sert ya da acımasız olma eğiliminde olacak şekilde sınıflandırmış. Örneğin, bir yazar “beyinleri saçma sapan şeylerle doldurmak” şeklinde bir yorum aldığını belirtmiştir. Bir başka yazar da kendisine gelen yorumda makale yazarının soyadının İspanyolca’ya benzer olduğu için hakemin makalesini okumadığı, çünkü kesinlikle kötü bir İngilizce ile dolu olduğundan emin olduğunu yazdığını belirtmiştir.
Bu konu hakkında yapılan çalışmanın yazarlarından biri olan, Kaliforniya Los Angeles’daki Occidental College’da ekoloji profesörü Amber Stubler, bu gibi yorumların sadece belli bir gruba has olmayıp herkesin bunlara benzer değerlendirmeler aldığını söylemiştir. Ayrıca, bunun gerçekten çok rahatsız edici olduğunu da eklemiştir.
Herkes bu gibi istenmeyen ve profesyonel olmayan yorumlar alsa da bu yorumların farklı araştırmacılarda ortaya çıkardığı sonuçların değiştiği bulunmuştur. Örneğin açık ten rengine sahip erkekler “profesyonel olmayan meslektaş değerlendirmelerinden en az etkilenen” grup olmuştur. Northridge’deki California Eyalet Üniversitesi’nde bir ekoloji profesörü ve çalışmanın bir diğer yazarı olan Nyssa Silbiger, kadınların, soylu olmayan bireylerin ve ten rengi renkli olan insanların, profesyonel olmayan incelemelerin kendilerinden şüphe duygusunu artırdığını ve bilimsel üretkenliklerine zarar verdiğini bildirme olasılıklarının daha yüksek olduğunu bildirmiştir. Renkli insanların da aldıkları bu yorumların kendi kariyer ilerlemelerini geciktirdiğini söyleme olasılıkları daha yüksek bulunmuştur.
Olaylara psikolojik açıdan bakış
Ann Arbor’daki Michigan Üniversitesi’nde psikoloji profesörü olan Denise Sekaquaptewa, bu gibi sonuçların şaşırtıcı olmadığını doğruladı. Stereotip tehdidi, yani yaygın negatif klişelerin neden olduğu psikolojik zararlar, ile ilgili psikolojik literatürde birçok bulgu ile karşılaştıklarını bildirmiştir. Çalışmanın sonuçlarının bu bulgular ile uyumlu olduğunu açıklamıştır. Esasen, kadınların veya renkli bir deriye sahip insanların daha az zeki oldukları ve bilimsel zekadan yoksun oldukları klişeleri nedeniyle bu tür stereotipler psikolojik sıkıntı yaratabilecek şekilde makale hakem incelemelerini alırlar. Bu sıkıntılar da yazarların kendilerindenden şüphe duyma, performans düşüşü ve kariyer gelişiminde gecikmeye neden olabilmesi gözlenmektedir.
Çalışmanın yazarları Stubler ve Silbiger, profesyonel olmayan yorumları engellemenin yollarının bulunmasına yardımcı olacağını umduklarını da söylüyorlar. Örneğin, Avustralya’nın Sydney kentindeki Macquarie Üniversitesi’nde iklim araştırmacısı olan Linda Beaumont, aldığı sorunlu incelemeleri “başka bir zorbalık biçimi” olarak nitelendiriyor. Bu nedenle, bazı dergiler için zaten standart olan bir uygulama olarak geliştirdikleri yolla bu zorbalığın önüne geçmeye çalışıyor. Bu yöntemde hakem yorumları genellikle gizli tutuluyor ve editör uygun bulduklarını yazarlar ile paylaşmaktan yana oluyor. Silbiger ve Stubler, ankete katılanların çok azının (%3’ten az) profesyonel olmayan incelemeleri bu tür politikaları olan dergilerden geldiğini belirtiyor. Bu durumda, bu gibi yapıcı politikalar izlemenin zorbalığın önüne geçtiği gözler önüne serilmiş oluyor.
Anadili İngilizce olmayan yazarlar
Benzer bir olay Durham’daki New Hampshire Üniversitesi’nde doktora sonrası mikrobiyal ekolog olarak çalışmakta olan Adriana Romero-Olivares’ın başına gelmiş. Romero-Olivares Meksika kökenli bir kişi. Bir dergiye sunduğu ilk makalesi için “İngilizce yazma yeteneğine saldıran” ve oldukça olumsuz bir inceleme aldığını belirtmiş. Aldığı yorumda şu gibi içerikler mevcutmuş: “Bu makale sağlam bir İngilizce ile yazılmadığı için şu anki haliyle kabul edilemez. Önemli bir düzenlemeye ihtiyacı var.”, “Bu cümlenin bir anlamı yok.”, “Yazarlar, dilbilgisini iyice gözden geçirmek için anadili İngilizce olan bir ortak yazara ihtiyaç duyuyor.”. İnceleyenlerin makalenin taşıdığı bilimsel kalite ile ilgilenmeyip editöre makalelerinin reddedilmesini tavsiye ettiğini belirtiyor. Adriana, neden İngilizce dil becerimi eleştirdiklerini ve yaptığım bilimselliğe odaklanmadıklarını anlamadığını dile getiriyor. Aldığı bu ağır yorumların kendisini gerçekten sorgulamasını sağladığını belirtip, o zamandan beri akademik dünyada “sert bir cilt” geliştirdiğini söylüyor.
Adriana, tüm bunların yerine daha yapıcı ve gelişmesine katkı sağlayıcı bir dille yorumlar yazılabileceğinden bahsediyor. Her şeyden önce, yazarların isimlerine ve bağlı oldukları kurumların coğrafyalarına dayanarak bir makalenin kalitesi hakkında varsayımlar yapılmaması gerektiğinin altını çiziyor. Çünkü bu önyargı biçimi ırkçılığa dayanır. İkinci olarak, hakemlerin sadece birer hakem olduklarını ve dergi editörü olmadıklarını vurguluyor. Yani son kararı vermektense araştırmaya ve bilimselliğe odaklanılması gerektiğini söylüyor. Eğer İngilizce dilinin çok anlaşılmaz olup makale incelenemiyorsa veya bilim hakkında geri bir bildirim sağlanamıyorsa, bu yorumların editöre söylenmesi gerektiğini düşünüyor. Böylece, nasıl ilerleneceğine editör daha sağlıklı karar verebilir. Üçüncü olarak da eğer makale sağlam bir İngilizce ile yazılmamışsa, dilbilgisi hatalarını düzeltmek ve yazıyı geliştirmeye yardımcı olmanın hakemlerce yapılması gerektiğini bildiriyor. İngilizce konuşarak büyümeyen insanların birer hedef tahtası haline gelmemesi gerektiğini savunuyor. Her zaman nazik olunabileceğinden, örneğin “Yazarların burada ne söylemeye çalıştıklarını anlayamıyorum” yazılabileceğinden bahsediyor. Ayrıca “İngilizce’de tam mesleki yeterliliğe sahip” bir kişiden yardım alarak gereken düzenlemenin yapılabileceğinin önerilmesinin “Anadili İngilizce olan bir kişiden yardım alınması” ile eş anlamlı olmadığının altını çiziyor.
Olumsuzluğu giderici adımlar
Diğer araştırmacılar, gözden geçirme sürecinde ya da sonunda genellikle hakemlere verilen anonimlik pelerinini kaldırmak istiyor. Bununla alakalı olarak yapılan bir başka çalışma ile İngiliz Psikiyatri Dergisi’ndeki hakemlere, makalelerini inceledikleri yazarlara isimlerinin açıklanmasını kabul edip etmeyecekleri sorulmuştur. İsminin yazara gösterilmesini kabul eden hakemlere atanan 408 makale imzalı veya imzasız gruplara randomize edilmiştir. İnceleme kalitesi, tonu, yayın önerisi ve her incelemeyi tamamlamak için harcanan süre ölçülmüştür. Toplam 245 hakem (%76) isminin açıklanmasını kabul etmiştir. Bu incelemeler daha yüksek kalitede ve daha nazik bir dilde yapılmıştır. İmzasız yani ismini vermek istemeyen hakem incelemelerine kıyasla daha uzun sürede hakem incelenmesi geçirmiştir. İmzalayan hakemlerin yayını kabul edilmeye önerme olasılıkları daha yüksek bulunmuştur. Böylece bu tür “açık emsal incelemesinin” hakem yorumlarının kaliteyi ve profesyonelliği arttırdığı gösterilmiştir.
Ancak Romero-Olivares ve diğer araştırmacılar, hakem kimliklerini ortaya çıkarmanın erken kariyer bilim insanlarına orantısız bir şekilde zarar vereceğine de inanıyorlar, çünkü onları eleştirilerinden memnun olan daha üst düzey meslektaşlarından misillemeye maruz bırakıyor. Tüm dergilerin, hakemlerin ve yazarların hepsinin kimliğinin bilinmediği çift-kör hakem incelemesi sistemi kullanılmasını öneriyorlar. Bazı bilim adamları böyle bir sistemin doğrudan bağnazlığı azaltacağına inanıyor.
Silbiger ve Stubler, dergi editörlerinin uygunsuz incelemeleri reddetme ve hatta sorunlu hakemler ile çalışmayı reddetme konusunda kendilerini güçlü hissetmeleri gerektiğinin altını çiziyor. Ayrıca ikili, bir editörün belirli bir hakemin bir çizgiyi geçtiğini iddia etmesinin zor olabileceğini ekliyorlar. Çünkü hakem yorumlarının profesyonel olması gerektiğini belirten çok az sayıda dergi var. Bu sorunu çözmek için dergilerin, hakemler için “özel davranış kuralları” benimsemesi gerektiğini iddia ediyorlar. İdeal olarak, bu kodların ayrıca ihlaller için “ciddi sonuçlar” oluşturabileceğinin de belirtilmesi gerekiyor.
Bu arada Sekaquaptewa, araştırmacıların kötü eleştirmen davranışının etkilerini incelemede bir adım daha ileri gitmelerini istiyor. Özellikle, hem genel olarak kötü yorumların hem de özellikle ırk, cinsiyet veya etnik kökene yönelik olanların etkilerine daha derin bir dalışın faydalı olabileceğini söylüyor. Bu, Silbiger ve Stubler’ın daha detaylı bir biçimde ele almayı arzuladığı bir şey. Şu anki çalışmalarının, “oldukça yüzeysel” olduğunu belirtiyorlar ve daha derinlemesine yeni çalışmalar yapacaklarını duyuruyorlar.
STEM’in yaraları düzelecek mi?
Çalışma profesyonel olmayan akran değerlendirmelerinin yaygın olduğunu ve STEM’de yeterince temsil edilmeyen gruplara orantısız bir şekilde zarar verdiğini göstermektedir. Özellikle, yeterince temsil edilmeyen grupların profesyonel olmayan bir akran değerlendirme raporu aldıktan sonraki bilimsel yetenekleri, üretkenlikleri ve kariyer ilerlemeleri üzerinde doğrudan olumsuz etkiler oluşması olasılıklarının yüksekliğine dikkat çekmiştir. Bu çalışmanın kapsamı dışında olmakla birlikte, gelecekteki araştırmalar, profesyonel olmayan akran incelemelerinin ikinci dil olarak İngilizce, ikinci aşama bilim adamları, kariyer aşaması, hibelerde akran değerlendirmesi ve farklılıklar yaratabilecek diğer faktörler üzerindeki etkisine de odaklanmalıdır. Çünkü dergilerde hakem değerlendirmesi yapan kişiler, hayatta başka noktalarda yine karşımıza çıkabilir. Bu nedenle profesyonel olmayan akran değerlendirmelerinin bilimsel süreçte yeri yoktur ve olmamalıdır. Bilim adamları birey olarak derhal değişiklik yapma yetkisine ve sorumluluğuna sahip olmalıdır. Bununla birlikte, bilimi ileriye taşımanın ayrılmaz bir parçası olan düşünceli, yapıcı ve ayrıntılı eleştiriler ve yorumlar yazmak için önemli miktarda zaman ve çaba harcayan hakemlere ve editörlere teşekkürler.
