Öğrencileri yanlışlıkla kopyacılıkla suçlayan AI dedektörleri — büyük sonuçlar doğuruyor
- Öğretmenlerin yaklaşık üçte ikisi, AI tarafından üretilen içeriği tespit etmek için araçları düzenli olarak kullandığını bildiriyor. Bu ölçekte, küçük bir hata oranı bile hızla birikebilir.
Moira Olmsted vakası
- Pandeminin başında üniversiteye ara verip aile kurmak için izin alan Moira Olmsted, okula dönmeyi çok istiyordu.
- 2023'te Central Methodist University'nin çevrimiçi derslerine kaydoldu, ancak teslim ettiği ödev AI tespit aracı tarafından AI üretimi olabileceği şeklinde işaretlenince 0 aldı.
- Olmsted, otizm spektrumunda olduğu için resmi bir üslupla yazdığını ve bunun AI tarafından yazılmış gibi yanlış anlaşılabileceğini savundu.
- Notu sonunda değiştirildi, ancak tekrar işaretlenmesi halinde bunun intihalle aynı şekilde ele alınacağına dair sert bir uyarı aldı.
AI yazı dedektörlerinin doğruluk sorunu
- En iyi AI yazı dedektörleri çok doğru olsa da kusursuz değil.
- Businessweek, GPTZero ve Copyleaks'i ChatGPT'nin piyasaya çıkışından hemen önce gönderilmiş 500 üniversite başvuru kompozisyonu örneği üzerinde test etti.
- Bu servisler, kompozisyonların %1 ila %2'sini yanlış biçimde AI tarafından yazılmış olabilecek içerik olarak işaretledi.
- Yanlış işaretlenen öğrencilerin; nöroçeşitlilik gösterenler, İngilizceyi ikinci dil olarak kullananlar ve basit kelime dağarcığı ile mekanik bir üslup kullanacak şekilde eğitilmiş kişiler olma ihtimali daha yüksek.
- AI tespit servisleri, zaman zaman AI yazısını insan yazısı gibi göstermek için tasarlanmış otomatik araçlar tarafından da kandırılabiliyor.
Ken Sahib vakası
- Çocukluğunun büyük bölümünü İtalya'da geçiren çok dilli öğrenci Ken Sahib, Berkeley College'daki ağ dersinde okuma özeti ödevine 0 verildiğinde bunun “bunaltıcı” olduğunu söyledi.
- Profesörü, tüm araçların aynı sonucu verdiğini söyleyerek bunun AI üretimi olduğunu iddia etti.
- Sahib dersi sonunda geçti, ancak bu olay profesörüyle ilişkisini bozdu.
AI dedektörü kullanımının yarattığı sorunlar
- Bazı eğitimciler AI dedektörlerinden geri adım atıp AI'yi müfredata entegre etmeye çalışsa da birçok üniversite ve lisede bu araçlar hâlâ kullanılıyor.
- Bunun sonucunda sınıflarda, asılsız suçlamalara dair kaygı ve paranoya yayılıyor.
- Lisans öğrencileri, kendi çalışmalarının özgünlüğünü savunmak için çok zaman harcadıklarını ve bunun öğrenme deneyimini kötüleştirdiğini söylüyor.
- Öğrencilere özel olarak pazarlanan genel AI yazı yardım servislerini ve dilbilgisi denetleyicilerini kullanmaktan da korkuyorlar.
AI tespit girişimleri
- AI yazı dedektörleri genellikle, gönderilen metindeki kelime karmaşıklığını ölçen perplexity değerine bakıyor.
- AI tespit şirketleri, kendi servislerinin hâkim, jüri ve infazcı gibi görülmemesi; bunun yerine öğretmene rehberlik eden ve bilgi sağlayan bir veri noktası olarak kullanılması gerektiğini vurguluyor.
- Copyleaks, öğrencilere servise erişim vererek kendi AI skorlarını görmelerini sağlıyor.
- Turnitin, öğrencilerin yazı ödevlerini nasıl oluşturduklarını süreç bazında gösterebilmelerine yardımcı olan bir servisle AI ürün portföyünü genişletiyor.
Öğrencilerin başa çıkma yöntemleri
- İşaretlendikten sonra Olmsted, yeni bir suçlamadan kaçınmak için takıntılı hale geldi. Dizüstü bilgisayarında yazı ödevlerini yaparken ekran kaydı aldı ve Google Docs'ta çalışarak değişiklikleri izledi, böylece dijital bir kayıt izi oluşturdu.
- UC San Diego'da kimya mühendisliği üçüncü sınıf öğrencisi Nathan Mendoza, GPTZero'yu kullanarak kendi çalışmalarını önceden kontrol ediyor. AI dedektörleri tarafından yanlış işaretlenmemek için ifadelerini değiştirmeye zamanının çoğunu harcadığını söylüyor.
- Diğer öğrenciler ise bu süreci hızlandırmak için, teslimlerini AI dedektörlerinden geçecek şekilde otomatik olarak yeniden yazabilen “AI humanizer” servislerini kullandı.
“AI humanizer” servisleri
- Bloomberg'in Hix Bypass testi, GPTZero'nun %98,1 oranında AI dediği insan yazımı bir kompozisyonun, bu servis tarafından değiştirildikten sonra AI oranının %5,3'e kadar düştüğünü gösterdi.
Grammarly gibi yazı yardım araçlarını kullanmanın sorunu
- Öğrenciler, Grammarly gibi popüler çevrimiçi yazı yardım araçlarını kullanmayı yeniden düşünmeye başladı.
- Bloomberg, Grammarly ile bir kompozisyonu “iyileştirmenin” veya “daha akademik duyulmasını” sağlamanın, %100 insan yazımı olarak geçen bir çalışmayı %100 AI yazımı olarak değiştirilebildiğini ortaya koydu.
- Florida SouthWestern State College'dan Kaitlyn Abellar, Grammarly ve benzeri programlara ait eklentileri bilgisayarından kaldırdığını söyledi.
Sürdürülemez mevcut sistem
- Bazı eğitimciler ve öğrenciler için mevcut sistem, öğretmen masasının her iki tarafına da bindirdiği yük ve AI'nin kalıcı olacağı gerçeği nedeniyle sürdürülemez görünüyor.
- University of Maryland'de İngilizce profesörü olan Adam Lloyd, “Yapay zeka, hoşumuza gitse de gitmese de geleceğin bir parçası olacak” diyerek, “AI'yi sınıftan izole etmeye ya da öğrencilerin kullanmasını engellemeye çalışmak yanlış bir fikir” dedi.
GN⁺ görüşü
- AI tespit araçlarının yanlış pozitif sorunu, özellikle nöroçeşitlilik gösteren öğrenciler, İngilizce öğrenenler ve sade bir üslup kullanan öğrenciler üzerinde ciddi etkilere yol açabilir. Eğitim kurumları, bu öğrenci gruplarını gözeterek AI tespit sonuçlarını dikkatle yorumlamalıdır.
- AI dedektörleri ile AI humanizer servisleri arasındaki silahlanma yarışı, eğitimcilerle öğrenciler arasındaki güveni zedeliyor ve neredeyse hiçbir eğitsel fayda sağlamıyor. AI'yi müfredata entegre etmenin yollarını aramak, uzun vadede daha iyi bir yaklaşım olabilir.
- Öğrencilerin yazma becerilerini geliştirmek için Grammarly ve benzeri araçları yasaklamak yerine, bunların eğitsel amaçla nasıl kullanılabileceğini düşünmek gerekir. Örneğin öğretmenler, doğrudan önerdikleri araçların bir listesini sunabilir veya uygun kullanım yöntemleri konusunda rehberlik edebilir.
- Copyleaks, Turnitin ve benzeri AI tespit şirketlerinin öğrenci dostu servisler geliştirmeye çalışması olumlu bir değişim. Ancak bu araçlara aşırı bağımlı olmak yerine, şüpheli vakaları öğrencilerle açık iletişim kurarak ele almak daha sağlıklı olur.
- AI ile insanın birlikte var olacağı kaçınılmaz geleceğe hazırlanmak için, öğrencilere AI araçlarının etik kullanımını öğretmek ve yaratıcı, eleştirel düşünme becerilerini geliştirmek önemlidir. Bunun için müfredatta ve değerlendirme yöntemlerinde yenilikçi değişiklikler gerekir.
1 yorum
Hacker News görüşleri
30 yıllık yükseköğretimde matematik öğretme deneyimime dayanarak, uzaktan sınavlarda kopya çekmek yaygın. Çözüm, teknoloji kullanımını yasaklayıp yüz yüze sınav zorunluluğu getirmek, ancak o zaman öğrenciler derslere kayıt olmayacaktır. Yükseköğretim kurullarının bunu tüm dersler için zorunlu kılması gerektiğini düşünüyorum. Ancak yalnızca yüz yüze sınav da yeterli değil. Öğrenciler öğrenmekten çok dersi geçmeye yönelik çalışmaya alıştı ve kopya artıyor. K-12 eğitiminin de değişmesi gerekiyor.
Yapay zeka kalıcı olacağı için, öğrenci performansını değerlendirmek için yeni yöntemlere ihtiyaç var. Geçmişte hesap makineleri sınavlarda yasaktı çünkü kullanılamazdı, ama artık 7/24 bir hesap makinesine erişebildiğimiz bir çağdayız. Değişime uyum sağlamalı ve toplum olarak buna nasıl yanıt vereceğimize birlikte karar vermeliyiz.
Sorunlardan biri, yapay zekanın bir çalışmayı neden işaretlediğinin öğrenciye açıklanmaması. Algoritmanın belirli bir çalışmayı neden işaretlediğini tam olarak açıklayabilmesi gerekir. Mevcut yapay zeka tabanlı çözümler bunu açıklayamadığı için uygun değil.
Bir öğrencinin öğretmeni, tüm makalelerin AI tespit yazılımıyla kontrol edileceği uyarısında bulundu, ancak bu uyarı metninin kendisinin AI tarafından üretildiği ortaya çıktı.
Büyük bir üniversite hastanesinde çalışan bir danışman olarak, İngilizcemi daha kısa ve daha kurumsal hale getirmek için ChatGPT kullanıyorum. AI tespit araçları işe yarayabilir, ancak yazım denetleyicisi kadar faydalı değiller. AI sadece bir large language model ve aslında bir model bile değil. Öğretmenlerin iyi birer yalan dedektörü olması gerekir.
AI tespiti %100 doğru değilse, milyonlarca öğrenci ve gencin geleceğini belirlemede uygun olmadığına inanıyorum. Teknolojiden ya da makale formatından uzaklaşmalıyız. Bir konuda ustalık ölçütlerini değiştirmeliyiz.
AI tarafından üretilen çalışmaları tespit etmek insanlar için kolay olabilir, ancak bunu bilgisayara programlamak zordur. Önceki işimde intihal tespit araçlarıyla çalışırken, onların ne kadar kolay kandırılabildiğini fark ettim.
Bir öğretmenin öğrenciyi dersten bırakmak için LLM tespit aracı kullanması çelişkili. Öğretmen, öğrenciyi ödevi anlamamakla suçluyor ama kendisi de aracın kararını anlamıyor ve sorumluluktan kaçıyor.
Çocukların okulunda yapay zeka destekli silah tarayıcıları devreye alındı, ancak okulun verdiği Lenovo dizüstü bilgisayarları silah olarak algıladı. İnsanlar AI ürünlerini satın alıyor ve onlara güveniyor, ama düzgün çalışmıyorlar.
İnsanların algoritmalara güvenmeye başlaması şaşırtıcı. Nasıl çalıştıklarını bilmiyorlar, açıklayamıyorlar, ama yine de çalıştıklarına inanıyorlar. Kopya çektiğinize karar verilirse yapabileceğiniz hiçbir şey yok. Sorumluluk almayan çok fazla insan var. Eskiden kopya çekmekle suçlanırdınız ama kanıtlanamıyorsa sorun olmazdı. Şimdi ise kanıt gerekmiyor; bir sistemin var olduğuna inanılıyor.