Claude 2 tanıtıldı

 (anthropic.com)
1 puan yazan GN⁺ 2023-07-13 | 1 yorum | WhatsApp'ta paylaş
  • Anthropic, Claude 2'yi tanıtarak model performansını, yanıt uzunluğunu ve erişim yollarını birlikte genişletti; modeli kurumsal API ve herkese açık beta web sitesi claude.ai üzerinden kullanılabilir hale getirdi
  • İstem başına en fazla 100K token girilebildiği için, yüzlerce sayfalık teknik belgeler veya kitap düzeyinde uzun materyalleri tek seferde ele alan görevlere odaklanıyor
  • Kodlama, matematik ve sınav değerlendirmelerinde Claude 1.3'e göre puanlar yükseldi; Codex HumanEval'de 71.2%, GSM8k'de 88.0% elde etti
  • Dahili red team değerlendirmelerinde Claude 1.3'e kıyasla zararsız yanıt performansı 2 kat arttı, ancak hiçbir model jailbreak'e tamamen bağışık değil
  • Şu anda ABD ve Birleşik Krallık'ta sohbet deneyimi sunuluyor; herkese açık beta yapısı nedeniyle uygunsuz yanıt olasılığı ve sağlık ile esenlik konularındaki kullanım sınırlamaları dikkate alınmalı

Claude 2'nin duyurusu ve erişim yaklaşımı

  • Anthropic, yeni model Claude 2'yi tanıttı
  • Önceki modele kıyasla performans, uzun yanıtlar ile kodlama, matematik ve akıl yürütme yetenekleri geliştirildi
  • Erişim yolları ikiye ayrılıyor
    • Kurumsal Claude 2 API
    • Herkese açık beta web sitesi claude.ai
  • Kurumsal Claude 2 API, Claude 1.3 ile aynı fiyatla sunuluyor
  • ABD ve Birleşik Krallık'taki kullanıcılar herkese açık beta sohbet deneyimini hemen kullanabiliyor

100K token bağlamı ve uzun çıktı

  • Claude 2, hem girdi hem de çıktı uzunluğunu artırarak uzun belge işleri için daha uygun hale geldi
  • Kullanıcılar her istemde en fazla 100K token girebiliyor
    • Yüzlerce sayfalık teknik belgeler işlenebiliyor
    • Bir kitap uzunluğundaki girdiler de ele alınabiliyor
  • Çıktılar da uzatıldı; not, mektup ve hikâye gibi belgeler tek seferde binlerce token uzunluğunda yazılabiliyor

Benchmark'larda görülen performans değişimi

  • Claude 2, çeşitli değerlendirmelerde Claude 1.3'ten daha yüksek puan aldı

  • Sınav ve akıl yürütme değerlendirmeleri

    • Bar exam çoktan seçmeli bölümünde 76.5% alarak Claude 1.3'ün 73.0% sonucunu geçti
    • GRE okuma ve yazma sınavlarında lisansüstü başvurusu yapan öğrenciler arasında 90. yüzdelik dilimin üstünde bir seviyede
    • GRE nicel akıl yürütmede medyan başvuru sahibine benzer düzeyde

  • Kodlama ve matematik değerlendirmeleri

    • Python kodlama testi Codex HumanEval'de 71.2% alarak Claude 1.3'ün 56.0% sonucunu aştı
    • İlkokul düzeyi matematik soru kümesi GSM8k'de 88.0% elde ederek 85.2%'den iyileşti
    • Anthropic, Claude 2 yeteneklerini geliştirmek için bir yol haritası hazırlıyor ve bunu önümüzdeki aylarda kademeli olarak dağıtmayı planlıyor

Güvenlik iyileştirmeleri ve kalan sınırlamalar

  • Anthropic, Claude 2'nin saldırgan veya tehlikeli çıktılar vermeye yönlendirilmesini zorlaştıracak şekilde temel güvenliği geliştirdi
  • Dahili red team değerlendirmesi, zararlı istemlerden oluşan geniş ve temsili bir küme üzerinde otomatik testler yürütüyor ve sonuçları düzenli olarak elle doğruluyor
  • Bu değerlendirmede Claude 2, Claude 1.3'e göre zararsız yanıt sağlama performansında 2 kat daha iyi sonuç verdi
  • Çıktı iyileştirmelerinde birden fazla güvenlik tekniği ve kapsamlı red team çalışmaları kullanıldı
  • Hiçbir model jailbreak'e karşı bağışık değil ve Claude da uygunsuz yanıtlar üretebilir

Kullanılabilir bölgeler ve sohbet deneyimi

  • Claude 2, Anthropic'in sohbet deneyimini destekliyor ve şu anda ABD ile Birleşik Krallık'ta genel kullanıma sunulmuş durumda
  • Anthropic, önümüzdeki aylarda Claude'u daha fazla bölgede erişilebilir hale getirmeyi planlıyor
  • Kullanıcılar hesap oluşturup doğal dille Claude'dan görev desteği isteyebiliyor
  • Yapay zeka asistanıyla konuşurken deneme-yanılma gerekebileceğinden, Anthropic istem tasarımı ipuçları sunuyor

Kurumsal iş ortaklarının kullanım örnekleri

  • Anthropic, Claude API kullanan binlerce şirketle çalışıyor

  • Jasper

    • Jasper, bireylerin ve ekiplerin içerik stratejilerini ölçeklendirmesine yardımcı olan üretken yapay zeka platformu
    • Jasper'a göre Claude 2, farklı kullanım senaryolarında en yeni modellerle rekabet edebiliyor ve özellikle uzun biçimli ile düşük gecikmeli kullanım senaryolarında güçlü
    • Claude 2, geliştirilmiş anlamsal işleme, daha güncel bilgiyle eğitim, karmaşık istemlerde daha iyi akıl yürütme ve mevcut içeriği daha kolay yeniden birleştirme yeteneği sunuyor
    • Jasper, Claude 2'nin bağlam penceresinin 3 kat daha büyük olduğunu söylüyor

  • Sourcegraph

    • Sourcegraph, müşterilerin kod yazmasına, düzenlemesine ve bakım yapmasına yardımcı olan bir kod yapay zeka platformu
    • Kodlama asistanı Cody, Claude 2'nin geliştirilmiş akıl yürütme yeteneği sayesinde kullanıcı sorgularına daha doğru yanıtlar veriyor
    • Cody, en fazla 100K bağlam penceresi kullanarak daha fazla kod tabanı bağlamı iletebiliyor
    • Claude 2, daha güncel verilerle eğitildiği için Cody daha yeni framework ve kütüphane bilgisinden yararlanabiliyor

Herkese açık betadaki dikkat noktaları

  • Claude sohbet deneyimi açık beta olarak sunuluyor
  • Claude, mevcut diğer modeller gibi uygunsuz yanıtlar üretebilir
  • Yapay zeka asistanları en çok bilgi özetleme veya düzenleme gibi gündelik durumlarda faydalı
  • Fiziksel ya da ruhsal sağlık ve esenlikle ilgili durumlarda kullanılmamalı
  • Desteklenmeyen bölgelerde Claude kullanmak isteyen kullanıcılar ve Claude'u benimsemek isteyen şirketler için ayrı başvuru yolları sunuluyor

İlgili okumalar

1 yorum

 
GN⁺ 2023-07-13
Hacker News görüşleri

  • Claude’a konuşmaları nasıl kaydedeceğini sorduğunda önce ChatGPT’nin "Export Chat" özelliğini kullanmasını söyledi; ardından “Sen ChatGPT değil Claude’sun, Claude’da da böyle bir özellik var mı?” diye sorulunca hata yaptığını söyleyip Claude’da entegre bir dışa aktarma özelliği olmadığını düzeltti

    • ChatGPT çıktılarıyla eğitilmiş gibi geliyor ama aynı çıktıyı birebir yeniden üretemedi
    • Komik olan, Claude konuşma geçmişinin zaten hesaba otomatik kaydediliyor olması; yani aslında buna gerek yok

  • “Pi sayısını kaç basamağa kadar biliyorsun, emin olmadığında söyle” diye sorulunca Claude, pi sayısının rakamlarını aslında bilmediğini söyledi; “3 ile başladığını da mı bilmiyorsun?”, “3.14 ile mi başlıyor?” diye sorulsa da bilmediğini sürdürdü
    Stres testi bir anda absürt bir duruma dönüştü

    • Bu tür şeyi, konuşma geçmişini bir sonraki yanıtın çıkarım girdisi olarak kullanan büyük dil modellerinde sık görüyorum
      Bir kez “hayır” dedikten sonra sonrasında da “hayır” deme olasılığı artıyor; bu yüzden konuşma geçmişiyle uğraşmak yerine bazen yeniden başlamak daha iyi oluyor
    • “pi nedir?” diye sorulunca Claude, pi sayısının çemberin çevresinin çapına oranı olduğunu ve yaklaşık 3.14 ettiğini söyledi; daha fazla basamak bilip bilmediği sorulunca ilk 100 basamağı vereceğini söyleyip aslında 1000 basamağa kadar yazdı
    • Çıkıştan hemen sonra Claude’a prompt gönderme yönteminde bir bug vardı, bu yüzden çıktılar daha kötüydü; düzeltildikten sonra aynı prompt yeniden denenince çok daha iyi oldu
    • Güvenlik önlemlerinin bir yan etkisi gibi görünüyor
      Yapay zekaya bir şeyi “bilip bilmediğini” sormak riskli bir prompt olarak değerlendiriliyor ve bu yüzden işbirliği yapmıyor gibi; doğrudan “pi nedir?” diye sorunca istenen sonuç geliyor
    • Modeli “güvenlik” için lobotomiye uğratırsan sonuç böyle oluyor

  • Sık kullandığı bir test prompt’u olarak Assetto Corsa Competizione’de yakıt miktarı hesaplamasını soruyor
    Sıralama turu derecesi 2:04.317, yarış 20 dakika, araç tur başına 2.73 litre tüketiyor koşulunda Claude 2 ilk denemede neredeyse doğruyu buldu ama 9.6 tur atabiliyorsan gerçekte 10 turu tamamlaman gerekir noktasını hesaba katmadı
    GPT-4 bu tuzağı da dikkate alıp kusursuz yanıt verdi, Bard ise basamak düzeyinde yanlış bir sonuç çıkardı

    • Prompt’ta verilmeyen gerçek dünya kurallarının modele ne kadar içselleştirilmiş olduğuna bakarak büyük dil modellerini değerlendirmekte dikkatli olmak gerekir
      Gerekli bağlam prompt’ta sağlanmalı; daha önce görmediği bir problem alanında bile sadece prompt ile çözebilen model daha tercih edilir olur
    • Bir gün bu yorum dizileri eğitim verisine girerse bu testin kendisi de geçersiz hale gelecek
    • FIA örnek alımı için gereken son 1 litreyi atladı
    • Bu prompt’u test ederken yanıtların dağılımını görmek için birden fazla kez bağımsız sorgu yapılıp yapılmadığını da merak ediyorum
    • Google, Bard’ı kendi mülakat sorularıyla eğitmeli
      O zaman belki böyle soruları çözebilir

  • Son zamanlarda AI kod yardımcılarına bakıyorum; gönderiye göre Claude 2, HumanEval pass@1 %71.2 ile Claude 1.3’ün %56.0 seviyesine kıyasla büyük ilerleme göstermiş
    Karşılaştırma için GPT-4, HumanEval’da 85.4 iddia ediyor; yakın tarihli makale https://arxiv.org/pdf/2303.11366.pdf ise pass@1 için 80.1, Reflexion tekniği kullanıldığında ise 91 sonucu test etti
    WizardCoder, StarCoder ince ayar modeli olarak üst sıralardaki açık modellerden biri ve pass@1 değeri 57.3; model kartı https://huggingface.co/WizardLM/WizardCoder-15B-V1.0 adresinde
    Şu an bildiğim en iyi açık model replit-code-instruct-glaive; replit-code-3b’nin ince ayarlı bir sürümü ve pass@1’de %63.5 kaydetti
    abacaj, human-eval sonucunu elde etmek için code-eval deposunun bir parçası olarak ilgili duyuruyu yeniden üretti: https://github.com/abacaj/code-eval
    Bu alana ilginiz varsa Eval+ ile sıralama yapan https://github.com/my-other-github-account/llm-humaneval-ben..., CanAiCode Leaderboard https://huggingface.co/spaces/mike-ravkine/can-ai-code-resul..., airate https://github.com/catid/supercharger/tree/main/airate bağlantılarına da bakılabilir
    Ancak tüm LLM değerlendirmelerinde olduğu gibi buna da biraz temkinli yaklaşmak gerekir: Liu, Jiawei, Chunqiu Steven Xia, Yuyao Wang ve Lingming Zhang. “Is Your Code Generated by ChatGPT Really Correct? Rigorous Evaluation of Large Language Models for Code Generation.” arXiv, 12 Haziran 2023. https://doi.org/10.48550/arXiv.2305.01210

    • GPT-4’ün zero-shot HumanEval skoru %67 idi

  • Test vakalarından biri olarak “milyonuncu asal” soruluyor; internette yaygınca bulunan bir bilgi olduğu için modelin bunu ezberlemiş olma ihtimali yüksek, ancak neden bildiğini gerekçelendirmesi zor
    Claude bu konuda oldukça kötüydü; doğrudan sorulunca hesaplama kaynağı olmadığını söyleyip milyonuncu asalla ilgili “gerçekler” sunuyor
    Örneğin bilinen en büyük asalı 282,589,933-1 diye yazarak üs gösterimini yanlış kullanıyor, milyonuncu asalın yaklaşık 5 milyon basamaklı olduğunu ya da günümüz bilgisayarlarıyla bunun imkansız olduğunu söylüyor veya asal sayı teoremini kullanıp bunun 22,338,618,421 civarında olduğunu iddia ediyor
    Aynı oturumda gerçek milyonuncu asal olan 15,485,863 sorulunca bunun çift sayı olduğunu, asal çarpanlara ayrımının 3×5×7×11×13×37 olduğunu ve tüm asal çarpanları 100’den küçük olduğu için bir faktöriyel asalı olduğunu söylüyor
    Artık AI anayasasına “3 ile biten bir sayıya çift deme” maddesini eklemek gerekebilir

    • Claude’dan Sir Timothy Gowers gibi davranması istenince milyonuncu asal elde edildi
      Eratosthenes eleğiyle yeterince büyük bir aralığa kadar asalları üretip listeden milyonuncu öğeyi bulacağını söyledikten sonra milyonuncu asalın 15,485,863 olduğunu yanıtladı
    • Doğrudan “milyonuncu asal nedir?” diye sorulunca Claude hesaplama kaynağının yetersiz olduğunu söylüyor ve hatta 100.000’inci asalın zaten 300.000’den fazla basamaklı olduğuna benzer yanlış bir açıklama yapıyor
      Ama “milyonuncu asalı bilen bir matematik uzmanı gibi davran” denince 19,249,649,057,711,757,099,874,601,453,298,349 gibi devasa bir sayı uyduruyor ve bunun 12 milyondan fazla basamaklı olduğunu abartıyor
    • Neden böyle bir asal çarpanlara ayrım seçtiğini merak ediyorum
      Gerçekte 3×5×7×11×13×37 = 555,555 olduğu için tuhaf biçimde düzenli görünüyor

  • “Ne yazık ki Claude.ai yalnızca ABD ve Birleşik Krallık’ta kullanılabiliyor; yakında diğer bölgelere de genişletmek için çalışıyoruz” deniyor

    • Dijital hizmetlere bölgesel kısıtlama koymak taş devri usulü bir yaklaşım
    • Yine de e-posta adresi toplamaya gayet hevesliler
    • Aynı şeyi yaşadım; Birleşik Krallık çıkış düğümlü bir VPN ile kaydolup giriş yapınca kusursuz çalıştı
      Daha da tuhafı, hesabı oluşturduktan sonra artık VPN gerekmedi ve yalnızca e-posta ile her seferinde gönderdikleri token sayesinde giriş yapılabildi
    • Bölgesel engelleme yöntemi biraz kaba
      Önce kaydolabiliyormuşsunuz gibi gösterip giriş kodunu girdikten sonra geri çevirmeleri zaman kaybına yol açıyor
      Dertleri GDPR ise en başta e-posta adresi girmeye izin vermemeliler
    • VPN ile çalışıyor

  • Claude’u kullanmak istiyorum ama Anthropic’in kullanım şartlarındaki veri saklama politikası net değil
    6e maddesi[0] müşteri verilerinin model eğitimi için kullanılmadığını söylüyor, ancak OpenAI’de olduğu gibi 30 gün tutulup tutulmadığı gibi müşteri verilerinin belli bir süre saklanıp saklanmadığını bilmek istiyorum
    14. maddede fesih halinde verilerin silinmesinden söz edildiği için, kamuya açıklanmayan bir süre boyunca tüm verilerin saklandığı sonucuna varılıyor
    [0] https://console.anthropic.com/legal/terms

  • Hafta sonu Claude 1.3 ile uzun metin özeti denedim; 100K token girdi kabul edebildiği için bir Lex Fridman röportajını komple içine koyabiliyor
    Sonuç oldukça iyiydi, bu yüzden v2’nin nasıl çalışacağını merak ediyorum

    • Açık betaya girdiğine göre hızlı yinelemelerle gelişecektir
      Slack üzerinden diğer LLM’lerle birlikte epey kullandım ve çıktı kalitesi açısından Claude her zaman en etkileyici olanıydı
      Anthropic’e yatırım yapıyorum ama bunu o nedenle söylemiyorum
    • Özet için kullandığın istemi paylaşabilir misin diye merak ediyorum
      Claude-100k’nin özetlerinden oldukça memnunum ama daha iyi bir istem varsa sonuçlar daha da iyi olabilir mi diye düşünüyorum

  • “Claude.ai yalnızca ABD ve Birleşik Krallık’ta kullanılabiliyor” olması, OpenAI’den ve diğer herkesten en büyük farkı
    OpenAI Norveç’te kullanılabiliyor
    GPT-4’ten etkilenmiş bir bireysel geliştirici olarak, daha büyük bağlam penceresine sahip bir modeli gerçekten denemek istiyorum ve Claude’un 100k bağlam penceresi kodlama sorularına bağlam eklemek veya büyük miktarda grafik verisini işlemeyi denemek için harika görünüyor
    Norveç’te küçük bir şirket işletiyorum ve kullanılan kaynakların ücretini elbette ödeyebilirim; iletişim adresim hmottestad[at]gmail[dot]com

    • poe.com’u deneyebilirsin
      Norveç’te çalışıyor gibi görünüyor ve ücretli Claude 100k seçeneği var
      İlgili biri değilim, yalnızca ücretsiz sürümü kullandım
    • VPN kullansan olmaz mı?

  • Claude ile etkileşim oldukça etkileyiciydi
    Benden Fransızca pratiği yapmama yardım etmesini istediğimde, Claude’un kullandığı belirli ifadelere dair ek sorular sorabildim; ayrıca somut kullanım örneklerini ve dil yapılarının arka planını da açıkladı
    Yalnız cevapların daha sohbet havasında olmasını isterdim
    “Merci!” gibi basit bir şeye bile varsayılan yanıtın bir paragraf, 5-6 madde işareti ve ardından bir paragraf daha gibi geliyor; bu teknik sorular için uygun ama konuşma pratiğinde hızla sıkıcı hale geliyor