Anthropic’in “adaylar yapay zeka asistanı kullanmamalı” politikası

• Anthropic iş başvuru formunda, adayların kendi ilgi alanlarını ve yetkinliklerini doğrudan ortaya koyması için yapay zeka asistanı kullanmama taahhüdünü kabul etmelerini isteyen bir madde bulunuyor
• Şirket, işe alındıktan sonraki çalışmalarda yapay zeka sistemlerinin kullanılmasını teşvik ediyor; ancak başvuru süreci söz konusu olduğunda, yapay zekanın aracılık etmediği yanıtlar istiyor
• Bu politika, adayın yapay zeka desteği olmadan iletişim kurma becerisini değerlendirme amacını da taşıyor
• Adayın, açıklamayı okuyup kabul ettiğini Yes olarak işaretlemesi gerekiyor; aksi halde sonraki başvuru adımlarına geçemiyor
• “Neden Anthropic’te çalışmak istiyorsunuz?” sorusuna verilen yanıt önemli şekilde değerlendiriliyor; iyi bir yanıtın genellikle 200-400 kelime olduğu belirtiliyor

---

İş başvurusunda yapay zeka kullanımına sınırlama

• Anthropic çevrimiçi iş başvuru formunda, başvuru sürecinde yapay zeka asistanı kullanmayın ifadesi yer alıyor
• Aynı açıklama, işe alındıktan sonraki görevlerde insanların yapay zeka sistemlerini kullanarak daha hızlı ve daha etkili çalışmasının teşvik edildiğini belirtiyor
• Ancak başvuru aşamasında, yapay zeka sistemlerinden geçmemiş kişisel ilgiyi görmek istiyorlar
• Adayın yapay zeka desteği olmadan iletişim kurma becerisi de değerlendirme kapsamına giriyor

Adayın onaylayıp yanıtlaması gereken maddeler

• Aday, bu politikayı okuyup kabul ettiğini Yes olarak işaretlemeli
• Ardından “Neden Anthropic’te çalışmak istiyorsunuz?” sorusuna yanıt vermeli
• Bu yanıt önemli şekilde değerlendiriliyor; iyi bir yanıtın genellikle 200-400 kelime olduğu belirtiliyor

[GN⁺]

Hacker News yorumları

• Karşı taraftan bakarsak, bu talep bana özellikle yanlış gelmiyor; bir aday olarak başvuru sürecine dair yararlı bir bilgi olarak görürdüm.
  Anthropic yapay zeka kullanımını teşvik ediyor, ama başvuru metnini bizzat yazmanızı kibarca rica ediyor; bu kadarı makul ve uyulabilir.
  “Yapay zeka kullansam yakalanır mıyım, bu hile sayılır mı?” gibi bir yaklaşım, ilk buluşmada yalan söylemeye benziyor. Sadece kısa vadeli sonuç istiyorsanız işe yarayabilir; ama uzun vadeli işbirliği istiyor ve birkaç zeki kişiyle mülakata girecekseniz, uyum sağlamak çok daha iyi olur.

  • Bu bir “yanlış” meselesi değil, ironi meselesi.
    LLM’leri yeni bir iletişim biçimi diye sürekli öne sürüp, yazıları daha “nazik” veya “profesyonel” hale getirmeyi önerdikten sonra, tam da bu araçları yapan şirketin, bu araçlara en çok ilgi duyan insanlardan onları tam da bu amaçla kullanmamalarını istemesi söz konusu.
    Başkalarının böyle kullanması sorun değil ama kendilerine karşı kullanılmasını istemiyorlar gibi bir tavır; bu da komik ve ikiyüzlü görünüyor, bu şirketlerin iç yüzünü biraz ortaya koyuyor.
    Roy Wood Jr’ın bir silah mitingine gittiği zaman aklıma geliyor. Silahların insanları daha güvende yaptığını savunurken, güvenlik kaygısıyla etkinlik alanında silah taşınmamasını istemeleriyle benzer bir bilişsel uyumsuzluk var.
    https://youtube.com/watch?v=m2v9z2S5XzQ&t=190
  • “Hile yapabilirim ve yakalanmam, öyleyse yapmamda sakınca yok” sonucuna varan bu kadar çok argüman olması şaşırtıcı.
    İnsanların daha bencil hale geldiğine dair bir yazı okumuştum[1], ama “yasa dışı değil ki” veya “tespit edilemiyor ki” diyerek bireyciliği ve bencilliği sonuna kadar zorlayan tavır hâlâ sarsıcı.
    Yapay zeka kullanmamanızı isteyen kibar bir ricaya uymama fikrini hayal etmekte bile zorlanıyorum. Bu yüzden iş piyasasında büyük dezavantaj yaşarsam da bunu kabul ederim.
    20 yıl önce de yaşıtlarım öne geçmek için bana bencilce gelen seçimler yapıyordu; ben ise o seçimleri yapmadan daha düşük başka bir yörüngeye gitmeyi sorun etmedim. Yine de insanların bencilliği meşrulaştırmasından ya da bu ricayı görmezden gelmeyi bencillik olarak bile görmemesinden duyduğum rahatsızlığı dile getirmek istiyorum.
    [1] https://fortune.com/2024/03/12/age-of-selfishness-sick-singl...
  • Amacına katılıyorum ama “kariyer geliştirme” ve “iletişim”in en popüler kullanım alanları olduğunu söyleyen bir üretken yapay zeka şirketinin böyle bir talepte bulunması garip.
    Bir tütün şirketinin çalışanlarına sigara içmemelerini söylemesi gibi.
  • Başvurumu değerlendirirken yapay zeka kullanmamalarını rica etsem onlar da benim isteğime saygı duyar mı? Bundan çok şüpheliyim.
    Saygı iki yönlü olmalı. Bu işbirliği değil; sattıkları aracın zararlarından kendilerini korumak için tek yönde verilen hiyerarşik bir emir gibi.
  • Mürekkepsiz dövme sanatçısı ya da hiç alkol içmeyen sommelier gibi.
    İlk izlenim iyi değil. Ürünün arkasında kendinden emin durun ya da bitmeyen alay ve şüpheyi göze alın.

• “Başvuru sürecinde yapay zeka asistanı kullanmayın. Yapay zeka sistemlerinin aracılığı olmadan Anthropic’e yönelik kişisel ilginizi anlamak ve yapay zeka yardımı olmadan iletişim becerinizi değerlendirmek istiyoruz” ifadesinde ters duran iki nokta var.
  Birincisi, dikkatli ve sorumlu kullanıldığında tespit edilemeyen bir durumda insanlardan yapay zeka kullanmamalarını isteyemezsiniz. Yapay zekasız da harika cevaplar çıkabilir, yapay zeka kullanarak da harika cevaplar çıkabilir; ikisini ayırt edemezsiniz. Sonuçta ayıklayabileceğiniz şeyler kötü cevaplar ve disleksi olur.
  İkincisi, bu hâlâ yapay zeka hiledir yaklaşımı; oysa Anthropic’in sorumlu yapay zeka kullanımında düşünce lideri olmasını beklerdim.
  Hayatta hile diye bir şey yoktur; sadece yanlış hedefi optimize ediyoruzdur. Yapay zeka ödevinizi yaptıysa, ödev zaten yeteneğin vekil göstergesidir; yapay zeka size yetenek kazandırmış olmaz. Yapay zeka nihai çıktıyı üretmiş ama siz onu anlamıyorsanız, yardım almış değil, ona bağımlı hale gelmişsinizdir.

  • Hiç katılmıyorum. Yetenek binlerce saatlik pratikle oluşur ve gelişir; LLM’ler insanı sadece tembelleştirir.
    Sektördeki kıdemliler pek bilmiyor gibi, ama LLM’ler genç uygulayıcılara kas hafızası kazandırmaz. Aksine onları bitmek bilmeyen hata düzeltme döngülerine ya da kod karmaşasını çözmeye çalışma haline hapseder.
    Öğrenme amacıyla bir miktar değer çıkarılabilir, ama bunun sınırı var. İlk başladığımda algoritma kitapları okuyup kendim uygulayarak ve bozarak gerçekten çok şey öğrenmiştim. Şimdi yanlış cevapları ayırt edecek kadar deneyimim olduğu için LLM kullanabiliyorum, ama yine de biraz tembelleştiğimi hissediyorum.
  • Teorik olarak ödev böyle bir şey değildir. Ödev, öğrenilmek istenen tekniği tekrar tekrar pratik ettiren bir alıştırma olmalıdır.
    Çoğu insan birkaç sayfa kitap okumaktansa bir şeyi bizzat defalarca yaparak daha iyi öğrenir. LLM’i bir probleme uyguladığınızda, sonuçta sadece LLM kullanmayı pratik etmiş olursunuz; bu kendi başına faydalı olabilir ama sizi LLM kullanılamayan işleri yapamayan tek yönlü biri haline getirebilir.
  • Ödev öğrenmeye yardımcı bir araçtır; LLM çıktısı ise kendi başına düşünme ve yazma sürecini atlayan bir kestirmedir.
    Daha dün, 14 yaşında bir çocuğun GCSE bilgisayar bilimi ödevine ChatGPT’den alınmış saçma metni kopyalayıp yapıştırdığını gördüm; bu öğrenme değildi. Hatta okumamıştı bile, sadece sınav görevlisinde işe yarar mı diye denenen bir metindi.
    İşe alım da yeterliliği düşük adaylar için bir sayı oyunu. Aynı kestirmeyle başvuru sayısını artırırsanız sonunda “sonuç” alırsınız, ama bu sadece kısa vadeli bir avantajdır; o işi gerçekten yapacak beceriye hâlâ sahip değilsinizdir.
  • Davranışsal soru tarzı bir mülakatta adayın yapay zeka ile cevap verdiğini gördüm. Böyle bir aday hile yapıyordur ve adayı ve deneyimini anlama amacını tamamen boşa çıkarır.
    Neyse ki çoğu zaman oldukça kolay fark edildiği için neredeyse hemen eliyorum.
  • Ana dili İngilizce olmayan birinin, yapay zeka kullanarak kendi İngilizce yazma becerisini olduğundan daha yüksek göstermesi durumunu düşünebiliriz.
    Sonunda o rol için İngilizcesinin yetersiz olduğunu varsayarsak, bu durumda hem kendi zamanını hem de şirketin zamanını boşa harcamış olur.
    Anthropic’in aday sıkıntısı çekeceğini sanmıyorum.

• Yapay zekayı kullanamama koşullarında adayın performansını değerlendirmek istiyorsanız, aynı odada oturup konuşmanızın yeterli olduğunu düşünüyorum.
  Yapay zeka kullanmanın avantaj sağladığı ve tespit edilmesinin zor olduğu görevlerde yapay zeka kullanmamayı istemek, sonuçta dürüst insanların aleyhine işler.

  • Ama onlar bunu yapmak istemiyor.
    İşe alım sürecinde yapay zekayı kendileri kullanmak istiyorlar. Kendi işlerini ve önyargılarını makineye devretmek istiyorlar ama başkalarının bunu yapmasını istemiyorlar.
    AB yapay zeka mevzuatının, insan işe alımında kullanılan yapay zekayı başlıca düzenleme hedeflerinden biri yapmasının bir nedeni var.
  • Asıl mesele buna daha yakın: Mülakatlar, o rolü derinlemesine anlayan kişiler tarafından yürütülmeli ve bir bilgi yarışması değil, tartışma olmalı.
  • Gerçekten avantajlı mı? Bu soruya yapay zeka tarafından üretilen yanıtlar kolayca yavanlaşabilir.
    Hatta doğrudan yanıt vermeleri yönünde ipucu vererek dürüst insanlara avantaj bile sağlayabilir.

• Otizmli ve disleksili biri olarak bu başvuru şartı beni gerçekten rahatsız ediyor.
  Görsel düşünürüm; geçerli fikirlerim ve özgün bakış açılarım var, ancak görsel düşüncelerimi geleneksel konuşma ya da yazıya dönüştürmekte zaman zaman zorlanıyorum. Yapay zeka araçları benim için çok değerli; görsel düşünme ile iş yerinde beklenen yazılı ifade arasındaki boşluğu kapatıyor.
  LLM’ler özünde çeviri araçlarıdır. Başkaları yazım denetleyici ya da dikte yazılımı kullandığı gibi, ben de resim gibi düşüncelerimi kelimelere çevirmek için LLM kullanıyorum. Fikirlerimi ya da içgörülerimi değiştirmiyor; yalnızca bunları nörotipiklere daha uygun bir biçimde ifade etmeme yardımcı oluyor.
  Anthropic, insanlığa faydalı olduğu söylenen yapay zeka sistemleri geliştirirken, başvuru sürecinde yapay zekayı erişilebilirlik aracı olarak kullanan kişileri açıkça dışlıyor. Bu, birine başvuru sürecinde normalde kullandığı yardımcı aracı kullanmamasını söylemekle aynı şey.
  “Yapay zeka yardımı olmadan iletişim kurma becerisini” değerlendirmek, benim yardımcı aracım olmadan iletişim kurma becerimi değerlendirmek demek. Benim için yapay zeka destekli iletişim, düşüncelerimi daha sahici biçimde göstermemi sağlıyor. Haksız avantaj elde etmeye çalışmıyorum; fikirlerimin başkaları tarafından anlaşılabilmesi için başlangıç çizgisini eşitliyorum.
  Yapay zeka sistemleri geliştiren bir şirketin, yapay zekanın insanların farklı şekillerde düşünmesine ve iletişim kurmasına gerçekte nasıl yardımcı olabileceğine dair benzersiz içgörülere sahip nöroçeşitli yeteneklerin bakış açısını da istemesi gerekmez mi?

  • Bu yorum gerçekten iyi ve bu konudaki düşüncelerimi neredeyse değiştirdi.
    Başta “yapay zeka kötüdür” tavrıyla yaklaştım ve açıkçası hâlâ bu düşünceye sahibim. Ama yapay zekaya izin verip dikkatle gözlemlemek için çok ikna edici gerekçeler sunuyor.
    Özellikle yazım denetleyici benzetmesi belirleyiciydi. Bu, “yapay zeka”nın tek bir şey değil, çok geniş bir spektrum olduğu noktasıyla da bağlantılı. Örneğin bir adayın dil bilgisini işaretleyen bir editör kullanmasında sorun görmem.
    Çizginin nereden çekileceği zor, ama belki de çizgi çekmemek daha iyi olabilir. Mülakatı yürütür, pratik kodlama varsa adayın yapay zeka kullanıp kullanmadığını gözlemler ve buna göre değerlendirirsiniz. Basit bir vekil gibi davranıyorsa işe almazsınız. Bunun dışında, yapay zekaya bağımlılık düzeyini ve onu bir araç olarak ne kadar iyi kullandığını değerlendirmek gerekir. Kolay değil ama topyekûn yasaktan daha iyi olma ihtimali yüksek.
  • Ben de çok benzer hissediyorum. Ben de aşırı görsel düşünen bir programcıyım ve “akıllı bir stajyerle” fikir alışverişi yapabilme becerisi benim için çok değerli. Eskiden gerçek stajyerleri bu şekilde kullanırdım.
    Bunun, görme engelli birinin metin okuma aracı kullanmasına benzediğini düşünüyorum. İşi hangi yöntemle bitirdiğinin ne önemi var? Önemli olan çıktının kalitesi ve o kişiyle etkileşim kurulup kurulamadığı.
    Başka bir örnek olarak, birinin yalnızca bir meslektaşıyla eşli programlama yaparken çalışabildiğini düşünelim. Ayrı olduklarında tamamen işe yaramazlar ama birlikte olduklarında sıradan iki eşli programcıdan yaklaşık %150 daha üretkenler. İşe alır mısınız? İkisine bir çift olarak ne kadar ödersiniz? Bence doğru cevap işe almaktır ve bir kişinin maaşını ikiye bölmekten daha fazlasını ödemektir. Bürokrasi olmasa denemek isterdim.
  • Bunu okuyunca fikrim tamamen değişti. Birkaç dakika öncesine kadar Anthropic’in yaptığı şeyde hiçbir sorun görmüyordum, ama şimdi farklı görüyorum.
    Çok iyi yazılmış ve içgörünüz için teşekkür ederim. Yanıldığımı gösterdiniz ve daha doğru olana yaklaşma fırsatı verdiniz.

• Oldukça zor bir mesele. Bu tür yapay zeka şirketleri, insanların yakında yapay zeka tarafından değil, yapay zekayı etkili kullanarak 10 kat üretkenlik sağlayan insanlar tarafından yerlerinin alınacağı fikriyle büyüyor.
  Yapay zeka sıradan bir geliştiriciyi 10 kat geliştiriciye dönüştürüyorsa, mülakatta bunu neden görmek istemeyesiniz? Özellikle son birkaç ayda bu mülakat sistemini kandırmak önemsiz hâle geldi. Sorun adayda değil, eskimiş mülakat yönteminde.

  • Mülakatçı açısından adayın yapay zeka kullanabileceği zaten biliniyor. Herkes kullanabilir.
    Yapay zeka, gerçek bir mühendislik rolü için gerekli olan tuzakları fark etmeyi, tasarım ve mimari kararları değerlendirmeyi aksine perdeleyebilir. Özellikle kıdemli ve üzeri adaylarda, problemi nasıl düşündüklerini değerlendirmek istersiniz; bu süreçte adayın deneyimi, teknik anlayışı ve iletişim becerisi ortaya çıkmalıdır.
    Biz yapay zekayla çalışmak istemiyoruz; bir insanın zamanına para ödemek istiyoruz. Zor bir sorun geldiğinde bilişinin yarısını kapatmayan birini işe almak istiyoruz.
  • Kesinlikle doğru. Önce bir ev ödevi aşaması verilir, sonuç iyiyse sonrasında yapay zeka olmadan, yüz yüze daha kolay bir ödevi çözmesi istenir.
    Böylece kimin gerçekten kendi işini anladığını hızlıca görebilirsiniz.
  • Bu zor bir mesele değil, düpedüz sahte şifacı tarzı satış. Böyle şeyleri daha önce defalarca gördük.
  • Mülakat “xyz yazın” şeklindeyse ve aday Copilot’ı açıp “xyz yaz” dedikten sonra kodu kabul ediyorsa, mülakatın anlamı nedir?
    Yapay zekayı kullanarak kod yazma süresini onda bire indirdi diye bu aday dâhiyane bir 10 kat programcı mı olur?
    Elbette ödevi yapay zekanın çözemeyeceği kadar karmaşık hâle getirebilirsiniz denebilir, ama yapay zeka sistemleri sürekli değişiyor, kullanıcı prompt’larını toplayarak gelişiyor. Üstelik aday daha işe alım sürecinin başındayken karmaşık bir ödeve çok zaman ayırması her zaman gerekçelendirilebilir olmayabilir. Sadece yapay zeka kullanmayın demek daha kolay ve etkili.
  • 2025’te yapay zeka sınavınızı insandan daha iyi çözüyorsa, bu sınav için 1970’te taşınabilir hesap makinesinin sınavı insandan daha iyi çözmesi kadar kötü bir işarettir.
    O zaman da sınav hazırlayanların tepkisi aynıydı. “Sorun bizde değil, makinede. Yasaklayalım!”
    Uzun vadede varılan sonuç şuydu: Hesap makinesiyle kopya çekilebiliyorsa bu sadece kötü bir sınavdı.
    Burada sınavı hazırlayan taraftaki yetkinlik sorununu kabul etmek istemeyen bir tavır olduğunu düşünüyorum. Soru hazırlayan işini daha iyi yapsaydı adayın yapay zeka kullanımını yasaklamaya gerek kalmazdı. Anthropic’ten böyle bir tepki gelmesi şaşırtıcı.

• Big Tech’te çok sayıda teknik mülakat yapıyorum ve adayların yapay zeka araçlarını açıkça kullanmasına açığım.
  Çoğu şirketin bunu neden yasakladığını bilmiyorum. Bunu benimsemeleri ya da en azından bir pilot program gibi denemeleri gerektiğini düşünüyorum.
  Sonuçlar pek değişmeyecektir. Örneğin kodlamada yapay zeka o anda birine programlama ya da akıl yürütmeyi öğretemez; mülakatın amacı da zaten baştan beri yalnızca kodlama bulmacasının doğru cevabını bulmak değildi.
  Benim için mülakat, adayın nasıl akıl yürüttüğünü, nasıl iletişim kurduğunu ve temelleri anlayıp anlamadığını görme sürecidir. Veri yapıları teorisi, ölçeklenebilirlik gibi şeyler. Bir bulmaca verildiğinde gerekçe ya da açıklama olmadan yalnızca optimize edilmiş cevabı yapıştırırsa, bunun kaynağı yapay zeka da olsa ezber de olsa Stack Overflow da olsa mülakatı geçemez.
  O hâlde korkulan ne? İnsanlar yapay zeka çıktısını kopyala-yapıştır yaptığında gerçek yetkin kişilerle aradaki farkı ayırt edememek mi? Bunun gerçekçi olduğunu düşünmüyorum.

  • Bu, eski LeetCode probleminin yeni bir varyasyonu. LeetCode’da iyi olmak, şirkette iyi bir programcı olacağınız anlamına gelmez.
  • Aday, soruyu dinleyen bir yapay zekayı açık tutup yanıt alabilir. Yapay zekanın sürece dâhil olma biçimleri körlemesine kopyala-yapıştırdan ibaret değil.
    Bu yüzden “yapay zekaya izin verilmiyor” demenin daha net olduğunu düşünüyorum. Bir mülakatçı olarak görmek istediğim şey adayın akıl yürütmesi, iletişimi ve temel anlayışıdır; aday yapay zeka kullanırsa neyin kendisine, neyin yapay zekaya ait olduğunu anlamak zorlaşır.
    Yapay zekanın yararlı bir araç olmadığını düşündüğümden değil, mülakattan alınan sinyal miktarını azalttığından bahsediyorum. Ayrıca zaten daha iyi performans gösteren kişinin yapay zekayı da daha iyi kullanacağı varsayımı var.
  • Adayın yapay zeka asistanına ne sorduğundan da çok şey öğrenilebilir.
    “Bu problemi çöz” diyen kişi, “dizi ile sözlük arasındaki fark ne” diyen kişi ve “hashmap’e ekleme işleminin zaman karmaşıklığı nedir” diyen kişi birbirinden farklıdır.
    Bu sorular, adayın ne bildiğine ve problemi ve çözümü anlamaya nasıl yaklaştığına dair ince ipuçları verir.

• Anthropic doğru olanı yapmış. Şu anda sektörde yapay zekayla hile yapmayı rasyonelleştiren çok fazla insan var.
  Ayrıca iş başvurularını yapay zekayla yazmanın sorun olmadığını söyleyenler şunları bilmiyor olabilir: Birincisi, başvuru sorularının bazen gerçekten bir amacı vardır. İkincisi, bazı insanlar neyi nasıl söylediğinizden oldukça fazla şey çıkarabilir.

• Alıntının tamamı şöyle; buradaki yorumların çoğu sanki baş kısmını atlıyor.
  “İş sırasında daha hızlı ve etkili çalışmak için yapay zeka sistemlerini kullanmanızı teşvik ediyoruz, ancak başvuru sürecinde lütfen yapay zeka asistanı kullanmayın. Yapay zeka sistemlerinin aracılığı olmadan Anthropic’e olan kişisel ilginizi anlamak ve yapay zeka yardımı olmadan iletişim becerilerinizi değerlendirmek istiyoruz. Okuyup kabul ediyorsanız ‘Yes’i işaretleyin.”

• İroni açık, ama ilginç olan Anthropic’in aslında sizden gerçek hayatta çalışma biçiminizi gerçekçi şekilde göstermemenizi istemesi.
  Kodlama ödevinde bir geliştiriciden sadece Vim kullanmasını, VS Code veya başka tam özellikli IDE kullanmamasını istemeye benziyor.
  Çalışanların işte LLM kullandığını biliyor ve hatta bunu teşvik ediyorlarsa, adayın aynı durumda kendini ne kadar iyi gösterebildiğini de görmek istemeleri gerekir.

  • O kadar da değil. Bu, mülakat sürecinin yalnızca bir bileşeni; tamamı değil.
  • Ben hâlâ Vim’den nasıl çıkılacağını aramadan bilmiyorum.
    Üniversite yıllarımı düşününce, sınavların hepsi 3-4 saat boyunca kâğıt üzerinde kalemle kod yazmak ya da final notunun %50’sini oluşturan ev ödevleriydi. Ev ödevlerinde öğrencilerin yalnızca kalem ve kâğıt kullanacağı gibi bir beklenti yoktu.
    Kitap kullanmak veya web’de yardım aramak serbestti, ancak bulduğunuz kodu atıf yapmadan kopyalamak yasaktı; başkalarıyla iş birliği yapmak da yasaktı.

• Yakın zamanda bir mülakatın ortalarında, adayın yapay zeka kullandığı çok belirgin hale geldi
  Bu yalnızca standart “Neden burada çalışmak istiyorsunuz?” gibi sorularda ortaya çıktı. Soru yapay zekaya karşı daha güçlü bir biçime dönüştürülünce aday dağıldı; İngilizce yeterliliği ve genel akıl yürütme becerisi keskin biçimde düştü
  Bu tür sorular aslında adayın soyut düşünme becerisini görmek için getirilmişti. Örneğin “Yaratıcılık felsefeniz nedir?” gibi sorular