Как работает миграция данных с помощью rclone?

rclone — это бесплатный инструмент миграции данных, предоставляемый для различных платформ Linux/Unix, Windows и macOS. В простейшем случае установка заключается в распаковке ZIP-архива. После настройки rclone поддерживает более 70 различных облачных хранилищ, а также все важные протоколы передачи, такие как FTP(S) и HTTP(S).

Как установить rclone в вашей системе

Для установки rclone вам понадобится соответствующий установочный пакет. Подробный и понятный список доступен в официальной зоне загрузки сайта rclone. Там вы также найдете экспериментальные бета-версии, а также различные старые версии программного обеспечения для переноса данных.

Для установки под Linux и macOS вызовите терминал и выполните там следующую команду:

sudo -v ; curl https://rclone.org/install.sh | sudo bash

Как пользователь системы Windows, просто загрузите ZIP-пакет, подходящий для вашей системы (32- или 64-разрядная версия). Затем разархивируйте папку.

В обзорной таблице вы можете сразу увидеть, для каких архитектур доступна текущая версия rclone; Источник: https://rclone.org/downloads/

Настройка rclone: ​​Как это работает

Теперь вы можете в любое время указать основные параметры миграции данных, резервного копирования и восстановления данных, а также настроить предпочитаемые вами облачные службы хранения. Для этого запустите командную строку или терминал и перейдите в каталог файла rclone.exe. Например, мы разместили программное обеспечение непосредственно в каталоге Windows, поэтому соответствующая команда CMD выглядит следующим образом:C:\rclone

cd C:\rclone

В пути запустите программное обеспечение для управления данными, rclone.exeнабрав и запустив стартовый файл с помощью клавиши Enter. После запуска rclone представляет вам обзор доступных команд.

Вы можете отобразить доступные команды rclone в любое время с помощью команды «rclone —help».

Затем вызовите меню конфигурации следующей командой:

rclone config

При первом же вызове вы получаете информацию о том, что файл конфигурации не найден. То же самое касается и удаленных подключений к облачному хранилищу. На первом этапе вы можете настроить такое удаленное соединение (n), установить пароль конфигурации (s) или выйти из меню (q).

конфигурация rclone: ​​первая конфигурация

Настройка удаленных подключений

Чтобы настроить новое удаленное подключение в rclone для доступа к облачному хранилищу, выберите опцию «n) New Remote» в диалоге настройки. Для этого введите букву [n] и подтвердите свой выбор клавишей Enter (также относится ко всем последующим шагам).

Далее выберите имя для удаленного подключения. Лучше всего использовать имя облачного хранилища или среды хранения — например, Amazon Drive, IONOS S3 Object Storage или My Website —FTP. Затем rclone представляет список доступных типов облачных хранилищ. Соответствующим номером вы указываете, к какому типу относится ваша услуга.

Выдержка из доступных облачных хранилищ для передачи данных с помощью rclone

Далее следует информация о провайдере S3, данных доступа и местоположении сервера. На последнем шаге вы определяете контроль доступа. Например, для частного доступа (никто, кроме вас, не может использовать удаленное соединение), наберите «1». Наконец, вы можете вызвать расширенную конфигурацию или выйти из конфигурации.

Редактировать/удалять удаленные подключения

После того, как вы создали одно или несколько удаленных подключений в rclone, меню начальной настройки автоматически разворачивается. Вы не только видите список настроенных подключений («Текущие пульты»); также доступны следующие варианты:

• **Редактировать существующий удаленный доступ (e) **: вы можете использовать эту опцию для адаптации установленных удаленных подключений в любое время.
• Переименовать удаленный ^® : хотите ли вы организовать удаленные подключения, которые вы настроили позже? С помощью этой функции вы можете назначить более подходящие имена rename.
• Копировать удаленно © : благодаря этой функции существующие удаленные подключения можно copyиспользовать в качестве шаблона.
• **Удалить удаленное управление (d) **: если вам больше не нужны подключения, вы можете deleteудалить их в любое время с помощью этой опции.

Определить пароль для повторного клонирования

Информация, которую вы предоставляете для удаленных подключений в rclone, является конфиденциальными данными, которые не должны попасть в руки посторонних. По этой причине существует возможность защитить доступ к меню конфигурации, а также к последующим командам для передачи данных, с помощью личного пароля.

Запустите настройку, нажав клавишу [s] и подтвердив ввод. Продолжайте с помощью клавиши [a] — еще раз подтвердите свой выбор клавишей Enter. Теперь установите желаемый пароль и подтвердите его, введя его несколько раз. При следующем запуске rclone configприложение с открытым исходным кодом автоматически попросит вас ввести пароль.

Определить пароль для конфигурации rclone

Миграция данных с помощью rclone: ​​на примере Google Drive

Возможности передачи данных с помощью rclone разнообразны. Ниже на примере Google Диска мы подробно покажем вам, как использовать программное обеспечение для передачи файлов.

Шаг 1. Настройте удаленное подключение к Google Диску.

Запустите командную строку и запустите файл запуска rclone в соответствующем каталоге. После запуска приложения войдите в меню конфигурации:

rclone config

Нажмите [n], чтобы создать новое соединение. В этом случае мы используем » gdrive » в качестве имени (строчные буквы, без пробелов), чтобы позже можно было легко назначить удаленное соединение. Следующие шаги следующие (по состоянию на июль 2023 г.):

1. Введите » 18 ″ в качестве типа хранилища. Таким образом вы сообщаете rclone, что это облачное хранилище Google (не путать с корпоративным решением Google Cloud Storage).
2. На следующем этапе вы можете создать индивидуальный идентификатор клиента для подключения к Google Диску. Альтернативно оставьте поле пустым и используйте стандартный идентификатор для нескольких пользователей.
3. При желании создайте секретную фразу для защиты идентификатора клиента. В противном случае оставьте поле пустым.
4. Для полного доступа к файлам введите в строке «область» значение «1».
5. Если вы хотите работать с учетными записями служб вместо интерактивного входа, на следующем шаге необходимо указать соответствующий JSON-файл. Опять же, это поле является необязательным, поэтому оставьте его пустым, если вас устраивает обычный процесс входа в систему.
6. Расширенные параметры не требуются для целей использования, поэтому вы вводите здесь [n] (что означает «нет»).
7. Затем подтвердите с помощью [y], что rclone может автоматически использовать веб-браузер для установки удаленного соединения.
8. Автоматически открывается окно браузера, в котором вы входите в систему под своей учетной записью Google, привязанной к нужному хранилищу Google Диска. После успешной регистрации и подтверждения rclone и Google Drive будут связаны, и вы получите соответствующее сообщение.
9. Запретите конфигурацию как многопользовательское хранилище с помощью [n].
10. Наконец, нажав [y], вы подтверждаете, что хотите сохранить установленное удаленное соединение.

Если ваш браузер не открывается автоматически, вы можете инициировать подтверждение своей учетной записи Google, используя отдельную ссылку, представленную rclone.

Шаг 2. Список файлов и папок с помощью rclone

После подключения Google Диска и rclone вы можете использовать приложение с открытым исходным кодом, среди прочего, для просмотра текущих папок и файлов в облачном хранилище Google. Вызвать структуру папок можно следующей командой:

rclone lsd gdrive:

rclone: ​​список каталогов Google Диска.

В нашем случае в облачном хранилище есть одна папка с названием. Вы также можете отобразить содержимое этой папки:rclone test

rclone ls "gdrive:rclone test"

rclone: ​​содержимое папки примера

Вы также можете использовать использованную здесь команду lsбез указания конкретной папки, чтобы сразу просмотреть все файлы в облачном хранилище. В нашем случае подходящей командой для всего содержимого Google Диска будет:

rclone ls gdrive:

Шаг 3. Загрузите файлы с помощью rclone.

Теперь вы также можете в любое время загружать файлы в свою связанную учетную запись Google Диска с устройства, на котором вы используете rclone. Таким образом вы можете, например, регулярно создавать резервные копии папки или каталога, в которых хранятся важные документы.

Например, мы хотим загрузить наш локальный каталог на Google Диск. Файлы должны храниться в папке службы хранения Google. Чтобы выполнить этот процесс с помощью rclone, нам нужна команда и указать источник и место назначения:C:\databackupcopy

rclone copy C:\data gdrive:backup

Просмотр Google Диска показывает, что файлы были успешно загружены: помимо папки теперь есть еще и вновь созданная папка.rclone testbackup

rclone резервная копия на Google Диск

Шаг 4. Загрузите файлы с помощью rclone.

Конечно, вы также можете загружать файлы из соответствующей удаленной среды на локальное устройство с помощью rclone. В случае с нашей резервной копией это будет полезно, например, если вы потеряли или случайно удалили свои файлы и хотите их восстановить.

В этом случае исходный и целевой каталоги противоположны, поэтому необходимо изменить порядок в требуемой команде rclone. Вы также можете вывести подробную информацию о передаче данных прямо в командной строке, добавив -Pпараметр (также возможно при загрузке файлов):

rclone copy -P gdrive:backup C:\data

Добавляя параметр «-P», вы получаете от rclone информацию о количестве и размере передаваемых файлов, а также времени передачи.

Шаг 5. Удалите файлы и папки с помощью rclone

С помощью rclone вы можете удалять файлы и папки в облачном хранилище без необходимости специального входа в учетную запись. Например, удаляем файл test.png, который находится в нашей исходной папке (см. шаг 2). Для процесса удаления необходима команда и спецификация файла в облачном хранилище. Рекомендуется дополнительно использовать параметр для включения запроса перед удалением:rclone testdelete-i

rclone delete -i "gdrive:rclone test\test.png"

Если вы установили запрос, подтвердите процесс удаления, нажав [y].

rclone: ​​удалить файл с запросом

Чтобы удалить все содержимое каталога или папки, опустите указание конкретного файла и укажите только путь к папке:

rclone delete -i "gdrive:rclone test"

Если вы работаете с запросом на этом этапе, вам необходимо либо подтвердить удаление каждого файла по отдельности с помощью [y], либо в качестве альтернативы использовать опцию [!] для удаления всех файлов из соответствующей папки в облачном хранилище без дополнительных запросов.

rclone: ​​удалить файл с запросом

Другие области применения rclone

Как уже упоминалось, возможности rclone выходят далеко за рамки передачи файлов в локальное хранилище и обратно. Ниже мы суммировали еще несколько практических сценариев использования инструмента с открытым исходным кодом.

Миграция данных из Amazon S3 в объектное хранилище IONOS S3

В rclone вы можете не только настроить несколько удаленных подключений к разным облачным хранилищам, но и обмениваться файлами между облачными хранилищами. Например, если вы в настоящее время используете корзину Amazon S3 для хранения определенных файлов, вы можете в любое время использовать rclone для их переноса в объектное хранилище IONOS S3 всего за несколько шагов:

1. Войдите в меню конфигурации rclone.
2. Настройте удаленные подключения для объектного хранилища Amazon S3 и IONOS S3.
3. Укажите исходный (Amazon S3) и целевой каталог (IONOS S3) для миграции данных.
4. Используйте команду rclone moveдля переноса ваших данных из Amazon в IONOS.

Загрузка файла через HTTP(S)

Вы можете использовать rclone для загрузки файлов по протоколу HTTP или HTTPS.

Например, у вас есть возможность скачать ISO-файл дистрибутива Linux ClearOS с зеркала https://mirror1-frankfurt.clearos.com/clearos. Сначала настройте rclone configновое удаленное соединение со следующими свойствами:

• Имя : ClearOS-зеркало
• Тип : HTTP
• URL : https://mirror1-frankfurt.clearos.com/clearos.

После установки используйте следующую цепочку команд для загрузки файла ISO в каталог:C:\downloads

rclone -P copy ClearOS-mirror:community/6/iso/x86_64/clearos-community-6.7.0-x86_64-DVD.iso C:\downloads

Поскольку установлен параметр «-P», rclone суммирует наиболее важную информацию о загрузке по протоколу HTTPS.

Загрузка файла через FTP(S)

Если у вас есть веб-каталог или каталог сервера, в который вы хотите загружать файлы через FTP или FTPS, вы также можете выполнить этот шаг с помощью rclone. Сначала настройте новое удаленное соединение, используя rclone configследующий шаблон:

• Имя : мой-ftp
• Тип : FTP
• Хост : ftp.example.com (ваш собственный FTP-адрес)
• Пользователь : Имя пользователя для входа в FTP.
• Порт : номер порта; оставьте пустым, чтобы выбрать порт по умолчанию 21
• Пароль : используйте эту опцию, чтобы ввести свой собственный пароль.
• TLS : дополнительное шифрование TLS ; оставьте пустым, если не хотите

Например, если теперь вы хотите перенести ранее загруженный ISO-файл в папку iso-imagesна вашем веб-пространстве FTP, просто выполните следующую команду rclone:

rclone copy C:\downloads\clearos-community-6.7.0-x86_64-DVD mein-ftp:iso-images/