OpenAI uyumluluğu

 (ollama.ai)
1 puan yazan GN⁺ 2024-02-09 | 1 yorum | WhatsApp'ta paylaş

OpenAI uyumluluğu

  • Ollama artık OpenAI sohbet tamamlama API'siyle uyumlu; böylece Ollama yerelde daha fazla araç ve uygulamayla kullanılabiliyor.
  • Kuruluma başlamak için Ollama'yı indirip Llama 2 veya Mistral gibi modelleri içe aktarın.

Kullanım

cURL

  • Ollama'nın OpenAI uyumlu API uç noktasını çağırmak için OpenAI formatını kullanın ve ana makine adını http://localhost:11434 olarak değiştirin.

OpenAI Python kütüphanesi

  • OpenAI Python kütüphanesini kullanarak Ollama'nın API uç noktasına erişebilirsiniz; gerekli olsa da kullanılmayan bir API anahtarı eklenir.

OpenAI JavaScript kütüphanesi

  • OpenAI JavaScript kütüphanesini kullanarak Ollama'nın API uç noktasına erişebilirsiniz; gerekli olsa da kullanılmayan bir API anahtarı eklenir.

Örnekler

Vercel AI SDK

  • Vercel AI SDK, etkileşimli akış uygulamaları oluşturmanıza yardımcı olan açık kaynaklı bir kütüphanedir.
  • Örnek depoyu klonlamak için create-next-app kullanılır.

Autogen

  • Autogen, Microsoft tarafından geliştirilen çok ajanlı uygulamalar oluşturmak için popüler bir açık kaynak çerçevesidir.
  • Bu örnekte Code Llama modeli kullanılır; Ollama'yı kullanmak için Autogen kurulur ve bir Python betiği oluşturulur.

Daha fazlası yolda

  • Bu, OpenAI API için erken aşamadaki deneysel bir destektir.
  • Değerlendirilen gelecekteki iyileştirmeler arasında embeddings API, function calling, vision desteği ve Logprobs yer alıyor.
  • Ayrıntılı bilgi için OpenAI uyumluluğu belgelerine bakın.

GN⁺ görüşü

  • OpenAI API uyumluluğu: Ollama'nın OpenAI API ile uyumlu hale gelmesi, geliştiricilerin yerel ortamda yapay zeka modellerini daha kolay entegre edip kullanabilmesini sağlıyor. Bu, yapay zeka tabanlı uygulama geliştirmede erişilebilirliği artıran önemli bir değişimdir.
  • Çeşitli programlama dili desteği: Python ve JavaScript kütüphaneleri üzerinden sağlanan destek, farklı geliştirme ortamlarında kullanılabilirliği gösteriyor. Bu da geliştiricilerin tercih ettikleri dille yapay zeka özelliklerini kolayca entegre edebileceği anlamına geliyor.
  • Açık kaynak çerçevelerle entegrasyon: Vercel AI SDK ve Autogen gibi açık kaynak çerçevelerle entegrasyon örnekleri, Ollama'nın kullanım alanını genişletiyor ve topluluk odaklı yeniliği teşvik edebilecek potansiyeli gösteriyor.

İlgili okumalar

1 yorum

 
GN⁺ 2024-02-09
Hacker News görüşü

  • Son birkaç ay içinde yerel olarak barındırılan LLM'lerin kullanım kolaylığı şaşırtıcı biçimde arttı.

    • Birkaç saat önce Mozilla-Ocho'nun llamafile'ının ne kadar kolay kullanıldığından yakınıyordum.
    • Hangi LLM'in kullanılacağına karar vermekte zorlanıyorum.

  • OpenAI API uyumluluğunun topluluk standardı hâline gelmesinden kişisel olarak rahatsız olan insanlar var.

    • Veri yapılarındaki gereksiz iç içelik gibi bazı tuhaflıklar var, ancak büyük bir şikâyetim yok.
    • API'nin standart hâline gelmesindeki sorunların ne olduğunu ve alternatif standartlara yönelik girişimler olup olmadığını merak ediyorum.

  • Copilot'un geliştirilmiş bir sürümünü geliştiriyorum ve kullanıcıların kendi LLM'lerini getirmesini destekliyorum.

    • OpenAI uyumlu bir backend ekleyerek, OpenAI uyumlu bir API endpoint'i sağlandığında o modelin semantiğine göre prompt biçimi, durdurma dizileri, maksimum token sayısı vb. şeyleri ele alıyor.
    • Yerel geliştirme ortamında test edebileceğim böyle bir özelliğe ihtiyacım vardı ve Ollama bunu sağladığı için çeşitli LLM'leri destekleyen testler çok daha kolaylaştı.

  • Ollama diğer araçlardan daha iyi çalışıyor ve basitçe çalışıyor.

    • Raspberry pi 4 üzerinde Dolphin Mixtral 7b çalıştırıp mısır ekmeği tarifi istedim ve birkaç saat sonra iki karakterin üretildiğini fark ettim.

  • Ollama'nın Linux kurulum betiği şu anda standart tarza uygun çalışıyor.

    • Ancak son kontrol ettiğimde betik sudo üzerinden root yetkisi istiyordu.
    • Aracı kullanmak istiyorsanız betiği indirip incelemenizi veya gerektiği gibi değiştirmenizi öneririm.

  • OpenAI ile uyumluluk biraz yanıltıcı.

    • Rol ve içerik uygulaması her zaman nispeten basitti.
    • Ajan barındırırken gerçekten işi yapmanız gerekir.
    • Ajan sistemine bir betik motoru ekledim ve güvenlik ile yetki ayarlarını dikkate alma gereği hissettim.

  • Uyumluluk katmanı kütüphanelerde de oluşturulabilir.

    • Örneğin Langchain, birden fazla LLM backend'i ile çalışan llm()'e sahip.

  • Açık kaynak (ör. HF, VLLM) ve ticari modeller (OpenAI, Google, Anthropic, Together) arasında kolayca geçiş yapılabilen bir proje üzerinde çalışıyorum.

    • HTTP API olmadan doğrudan Python içinden kullanmak istiyorsanız, kullanımı daha kolay.

  • Ollama'nın kullanım senaryosunun ne olduğu ve neden doğrudan llama.cpp kullanılmaması gerektiği sorusu gündeme getiriliyor.

  • Ollama'nın Dockerized bir HTTP sunucusu olarak llama.cpp'yi doğrudan çağırıp çağırmadığı ve yeni eklenen OpenAI API dışında ne fark olduğu soruluyor.