Rclone: Bulut depolama dosya senkronizasyonu ve yönetim aracı

 (rclone.org)
3 puan yazan GN⁺ 2024-01-28 | 1 yorum | WhatsApp'ta paylaş
  • Rclone, bulut dosya yönetimini komut satırından yapan bir araçtır; web arayüzlerine bağlı kalmadan 70’ten fazla depolama ürününü ve standart aktarım protokolünü yönetebilir
  • rsync, cp, mv, mount gibi tanıdık Unix tarzı işlemleri buluta uyarlanmış şekilde sunar; shell pipeline’ları, --dry-run, betikler ve API otomasyonu da destekler
  • Aktarım sırasında zaman damgalarını ve checksum’ları korur; bant genişliği kısıtları, kararsız bağlantılar ve kota bulunan ortamlarda son başarılı aktarım noktasından yeniden başlayabilir
  • Yerel, bulut ve sanal dosya sistemlerini Windows, macOS, Linux ve FreeBSD’de disk gibi bağlayabilir ve SFTP, HTTP, WebDAV, FTP, DLNA üzerinden sunabilir
  • Yedekleme, geri yükleme, bulutlar arası taşıma, şifreleme, sıkıştırma, parçalama, hashing ve birleştirmeyi tek araçta yaptığı için birden fazla depolama hizmetini birlikte çalıştırırken kullanışlıdır

Bulut dosya yönetimi için komut satırı aracı

  • Rclone, bulut depolamadaki dosyaları yönetmek için kullanılan bir komut satırı programıdır
  • Bulut sağlayıcılarının sunduğu web depolama arayüzlerinin yerine geçebilen, özellik bakımından zengin bir araç olarak kullanılır
  • Destek kapsamı; S3 nesne depoları, kurumsal ve tüketici dosya depolama hizmetleri ile standart aktarım protokolleri dahil 70’ten fazladır
  • Kullanıcılar Rclone’u “bulut depolamanın İsviçre çakısı” ve “sihirden ayırt edilemeyen teknoloji” olarak adlandırır

Unix tarzı komutlar ve otomasyon

  • Rclone, tanıdık Unix komutlarına karşılık gelen bulut işlemleri sunar
    • rsync
    • cp
    • mv
    • mount
    • ls
    • ncdu
    • tree
    • rm
    • cat
  • Sözdizimi shell pipeline’larını destekler; --dry-run ile gerçek değişikliklerden önce işlemleri kontrol edebilirsiniz
  • Yalnızca komut satırından değil, betikler ve API üzerinden de kullanılabilir
  • Üçüncü taraf geliştiriciler, Rclone komut satırını veya API’sini kullanarak yedekleme, geri yükleme, GUI ve iş süreci çözümleri geliştirir

Veri koruma ve aktarım kararlılığı

  • Aktarım sırasında zaman damgalarını korur ve checksum’ları her zaman doğrular
  • Sınırlı bant genişliği, kesintili bağlantı veya kota bulunan ortamlarda bile son başarıyla aktarılan dosyadan devam edebilir
  • check komutuyla dosya bütünlüğü doğrulanabilir
  • Mümkün olduğunda sunucu tarafı aktarım kullanarak yerel bant genişliği kullanımını azaltır ve sağlayıcılar arasında yerel diskten geçmeden aktarım yapar
  • Aktarımla ilgili özellikler şunları içerir
    • MD5, SHA1 hash’leriyle dosya bütünlüğü doğrulama
    • Dosya zaman damgalarını koruma
    • Her an yeniden başlatılabilen işler
    • Farklı bulut sağlayıcıları arasında ağ üzerinden aktarım
    • Yerel diske çok iş parçacıklı indirme

Yedekleme, geri yükleme ve migrasyon senaryoları

  • Dosyaları bulut depolamaya yedekler ve gerekirse şifreler
  • Dosyaları bulut depolamadan geri yükler ve gerekirse şifresini çözer
  • Bulut verilerini başka bir bulut hizmetine veya yerel ortama aynalayabilir
  • Verileri buluta taşıyabilir ya da bulut depolama sağlayıcıları arasında aktarabilir
  • Birden fazla şifreli, önbellekli ve heterojen bulut depolamasını disk gibi bağlar
  • lsf, ljson, size, ncdu ile bulut depolamadaki verileri analiz eder ve toplar
  • Union ile birden fazla yerel veya bulut dosya sistemini tek bir sistem gibi gösterebilir

Dosya işlemleri ve servis olarak sunma

  • Copy yeni veya değişmiş dosyaları bulut depolamaya kopyalar
  • Sync dizinleri tek yönlü olarak aynı hale getirir
  • Bisync iki dizini çift yönlü olarak senkronize eder
  • Move doğrulama sonrası yerel dosyaları silerek bulut depolamaya taşır
  • Check hash’leri ve eksik/ek dosyaları kontrol eder
  • Mount bulut depolamayı ağ diski olarak bağlar
  • Serve yerel veya uzak dosyaları HTTP, WebDAV, FTP, SFTP, DLNA üzerinden sunar
  • Web tabanlı GUI deneysel bir özelliktir

Bağlama ve sanal backend’ler

  • Yerel, bulut ve sanal dosya sistemlerini Windows, macOS, Linux ve FreeBSD’de disk olarak bağlar
  • Aynı dosya sistemini SFTP, HTTP, WebDAV, FTP, DLNA üzerinden sunabilir
  • Sanal backend’ler, yerel ve bulut dosya sistemlerini sararak ek özellikler uygular
    • Crypt: dosya şifreleme
    • Compress: dosya sıkıştırma
    • Chunker: büyük dosyaları bölme
    • Hasher: dosya hashing’i
    • Union: birden fazla uzak depoyu birleştirme
    • Alias: mevcut uzak depo adını değiştirme
    • Archive: arşiv dosyalarını okuma
    • Cache: uzak depo önbelleği, Deprecated
    • Combine: birden fazla uzak depoyu dizin ağacı olarak birleştirme

Desteklenen sağlayıcılar ve kurulum

  • Desteklenen sağlayıcılar arasında Amazon S3, Backblaze B2, Box, Dropbox, Google Cloud Storage, Google Drive, Microsoft Azure Blob Storage, Microsoft OneDrive, Proton Drive, SFTP, SMB/CIFS, WebDAV ve yerel dosya sistemleri bulunur
  • WebDAV veya S3 gibi standart protokollere dayanan diğer sağlayıcılar da çoğu zaman doğrudan çalışır
  • Rclone, rsync’ten esinlenen olgun bir açık kaynak yazılımdır ve Go ile yazılmıştır
  • Rclone; Ubuntu, Debian, Fedora, Brew ve Chocolatey resmi depolarında yer alır
  • En son sürüm için rclone.org’dan indirme yöntemi önerilir
  • İlgili bağlantılar

İlgili okumalar

1 yorum

 
GN⁺ 2024-01-28
Hacker News yorumları

  • rclone'u gerçekten çok seviyorum. Eski bağış sayfasında, “rclone sevgiyle yapılan bir proje, paraya ihtiyacı yok ama eşime çiçek almama katkı sağlarsanız gerçekten minnettar olurum” gibi bir ifade olduğunu hatırlıyorum
    Bana sadece harika biri gibi gelmişti; şimdi tam zamanlı olarak rclone üzerinde çalışabiliyor olmasına da sevindim. Umarım hâlâ tatmin edici bir iştir
    archive.org'da o zamanki sayfayı buldum; hatırladığımdan da daha iç ısıtıcıymış:
    “Rclone is a pure open source for love-not-money project. However I’ve had requests for a donation page and coding rclone does take me away from something else I love - my wonderful wife.”
    “So if you would like to send a donation, I will use it to buy flowers (and other pretty things) for her which will make her very happy.”
    https://web.archive.org/web/20180624105005/https://rclone.or...

    • Nick'le gerçekten tanışmıştım, gerçekten iyi biriydi

  • rclone ile bulut depolamayı yerel disk gibi mount etmek de mümkün; bu yüzden özellikle Kubernetes'te kullanışlı
    Aynı klasörde çok fazla dosya olduğunda sürücü gibi kullanınca okuma/yazma hızı çok yüksek olmuyor ama projelerde bulut depolamayı hızlı ve kolay kullanmanın bir yolu
    Konum bazında uçtan uca şifreleme de mümkün; örneğin mount edilmiş sürücüye koyduğunuz tüm dosyalar şifrelenmiş halde Dropbox'taki /foo klasörüne yazılabiliyor. Dropbox veya S3 gibi sağlayıcıların hâlâ yerleşik uçtan uca şifreleme sunmaması nedeniyle bu güzel
    Genel olarak rclone elinizin altında bulunması iyi olan bir araç ve gerçekten çok sayıda kullanım senaryosunu çözüyor

    • Yerel ya da bulut depolama sunan geçici bir FTP sunucusunu çok kolay kurabiliyorsunuz
      Örneğin Pi4 cihazımda rclone FTP sunucusu ile Dropbox'ı iç ağa açıyorum, ayrı bir FTP sunucusu ile de ağ yazıcısının taradığı dosyaları kaydetmesini sağlıyorum. Aynı cihazda ailem ve yakın arkadaşlarımın bulut depolamasının otomatik yedeklerini de rclone ile çalıştırıyorum. İç ağımda rclone neredeyse bir kurtarıcı
    • Bu kullanım için gerçekten iyi ama ağın kararlı olduğundan emin olmak gerekiyor
      Masaüstümde ve dizüstümde Google Drive'ı mount edip kullanıyorum; dizüstünde sorun şu ki işletim sistemi sürücüyü yerel görüyor ve rclone ağ hatalarında zaman aşımına düşmüyor. Wi‑Fi'ye bağlı değilken bir uygulama sürücüden okumaya ya da yazmaya çalışırsa sonsuza kadar takılı kalıyor. Örneğin XFCE'de bir Thunar penceresi açıksa arayüzün büyük kısmı kilitlenebiliyor
    • “Bulut depolamayı yerel diske mount etmek” ifadesi tek başına bana hemen net gelmiyor. Dosya sistemi çağrılarını API çağrılarına çevirmek için FUSE, 9p, bir sürücü ya da başka bir mekanizma mı kullanıyor diye merak etmiştim
      Kontrol ettim, FUSE'muş
    • Google Drive için Insync gibi bir çift yönlü senkronizasyon uygulamasının alternatifi olarak bunu başarıyla kullanan oldu mu diye merak ediyorum
      Insync de pek iyi değil, Google Drive da pek iyi değil; ama her gün bağımlı olduğunuz bir kullanımda dosyaların yerel kopyasına ve yerel-sunucu arasında anlık senkronizasyona gerçekten ihtiyaç duyulduğunu düşünüyorum. Özellikle internet bağlantısı dengesizken
    • “e2e” şifreleme derken istemci tarafı şifreleme mi kastediliyor diye merak ediyorum. S3 hem istemci tarafı hem de sunucu tarafı şifrelemeyi destekliyor
      Tabii istemci tarafı şifrelemeyi desteklemek için hizmet tarafında özellikle yapılması gereken çok fazla bir şey de yok
      İstemci tarafı şifreleme için ayrı bir şifreli S3 istemcisi de var: https://docs.aws.amazon.com/amazon-s3-encryption-client/late...

  • rclone'u kullanmanın en sevdiğim yollarından biri rclone ncdu: https://rclone.org/commands/rclone_ncdu/
    Çoğu bulut alanı sağlayıcısı her klasörün ve alt klasörlerinin gerçekte ne kadar yer kapladığını göstermiyor; işte burada rclone ncdu tam oturuyor

    • ncdu'yu seviyorum; rclone ile entegrasyonu çok pratik

  • rclone'u her gün kullanıyorum. Bazı durumlarda sshfs'in yerini aldı
    Ev sunucumdaki $Archive paylaşımını rsync.net'e gönderiyorum; ayrıca Google hesabımdan, eşimin, annemin, babamın ve çocukların hesaplarından fotoğrafları $Archive içine alıyorum. Farklı $WORK için kullandığım üç ayrı bulut hesabını da $Archive altında topluyor, sonra rsync.net'e gönderiyorum
    Bu gerçekten birinci sınıf bir araç

  • Yedekleme için Restic'e de bakmaya değer. rclone ve Restic birlikte kullanmak için çok uygundur
    https://www.bobek.cz/blog/2020/restic-rclone/

    • Salt Restic'in başlıca dezavantajı, genelde yapılandırma yönetimi için doğrudan kabuk betikleri yazmak zorunda olmanızdır. Restic'in kendisinde böyle bir özellik yok
      Neyse ki bu sorunu çözen https://github.com/creativeprojects/resticprofile var
    • Ek bir önlem olarak yedekleri yalnızca ekleme modunda yapmayı da düşünebilirsiniz: https://ruderich.org/simon/notes/append-only-backups-with-re...
    • Restic ekibi, “güvenlik nedeniyle” şifrelenmemiş yedekleri reddediyor
      Birinin her durumda kendi yargısının dünyadaki en iyisi olduğunu ve başkalarının hatalı olduğunu varsayan yaklaşımından hoşlanmıyorum
      Ne yaptığımı biliyorum ve yedekleri şifrelemek istememek için son derece geçerli nedenlerim var
      Restic varsayılan olarak yedekleri şifreleyebilirdi ama --do-not-encrypt gibi bir anahtara da izin verebilirdi
      Geliştiricilerin kibri şaşırtıcı, bu yüzden Restic kullanmayacağım. Çok iyi bir yedekleme çözümü olduğu için daha da üzücü
      Onun yerine Borg denemek daha iyi
    • İkisini de kullanıyorum
      Birden fazla makineyi Restic ile yerel bir sunucuya saatlik olarak yedekliyor, sonra bu yedekleri rclone ile her gün S3'e senkronize ediyorum
      Bu şekilde okuma/yazma işlemlerinin sayısı azalıyor, geri yükleme daha hızlı oluyor ve S3 erişim yetkisine sahip makineyi tek bir cihazla sınırlayabiliyorum
    • duplicacy'ye de bakmaya değer: https://twitter.com/ArtemR/status/1159392251992145920
      https://github.com/gilbertchen/duplicacy

  • Rclone çok sayıda depolama arka ucunu destekliyor ve ayrıca herhangi bir depolama arka ucunu şifreleyebilen bir crypt arka ucu da sunuyor
    https://rclone.org/overview/
    https://rclone.org/crypt/

  • Ana sayfasında her zaman checksum doğrulaması yaptığını açıkça vurgulamasını seviyorum
    Eskiden ne kadar çok aracın bu adımı atladığını görünce şaşırmıştım. Elbette yavaşlatıyor, ama bulut depolamalar arasında senkronizasyon yapıyorsanız checksum'u gerçekten kontrol etmek isteyeceğiniz durumlar olması çok muhtemel

    • En üstteki “sihirden ayırt edilemez” ifadesi biraz kibirli görünmüştü, ama şimdi bu tür sıra dışı iddialar için sıra dışı kanıtlar olup olmadığına bakıyorum

  • Birisi açık kaynak istemciyi inceleyip Proton Drive API'sini tersine mühendislik ederek bir Rclone eklentisi yapmış
    Şu anda Linux'ta Proton Drive kullanmanın tek yolu bu

    • rclone'da Proton Drive desteği olduğunu bilmiyordum. Visionary planına kısa süreliğine tekrar açıldığında abone olmuştum, demek ki artık o depolamayı da kullanabilirim

  • Rclone sihir gibi bir araç ve onu çok çeşitli amaçlarla kullandım
    En son kontrol ettiğimde AWS SDK kullanmıyordu ya da Go sürümü sınırlıydı, bu yüzden .aws/config içindeki tüm ayarları kullanamıyordu
    Yine de çok amaçlı bir araç olduğu için her arka ucun tüm özelliklerini desteklememesini bir ölçüde anlayabiliyorum
    Belgelerde önbellekleme gibi artık bakımı yapılmayan özellikler ve deneysel özelliklerle ilgili çok sayıda uyarı var. Uyarıların kendisi adil, ama somut kısıtları net biçimde anlatmıyor

  • Rclone'u kesinlikle seviyorum. Teknik olmayan kişilerin tüketici/iş bulutlarına çok fazla veri yüklediği ve bunları bir şekilde sunucuya çekip ek işlemden geçirmek gerektiği durumlarda çok değerli bir araç
    Veri çoksa ve ev internetiniz iyi değilse, buluttan buluta doğrudan aktarım için de harika. Ağı iyi olan bir sunucuya rclone kurup tmux altında çalıştırırsanız, benim bilgisayarım açık olmasa bile iş çalışmaya devam ediyor

    • tmux şart değil
      nohup /usr/bin/rclone ... &>/dev/null &
      Bunu çalıştırdıktan sonra çıkış yapsanız da çalışmaya devam eder