Tập lệnh Shell để sao chép nhiều tệp

Tôi đang cố gắng thực hiện một tập lệnh Shell sao chép một loạt tệp nhưng gặp khó khăn với việc thiết lập một vòng lặp để đọc qua các tệp:

aws s3 cp s3://noaa-bdp-pds/gdas.YYYYMMDD/00/atmos/hdas.t00z.sfcf000.nc s3://s3internal/raw/HDAS/hdas.YYYYMMDD_00Z.nc

Ở đây YYYY, MM, DD là những số mà tôi cần lặp lại.

Tôi cần lặp lại tất cả các năm, tất cả các tháng và sau đó là ngày để lưu tất cả các tệp. Hãy cho tôi biết nếu điều này có thể được thực hiện?

Cảm ơn

Bạn có thể đạt được điều này bằng cách sử dụng đồng bộ aws s3 với ký tự đại diện và --dryrun mà tạo ra đầu ra:

$ aws s3 đồng bộ hóa s3://noaa-bdp-pds . \
  --exclude "*" --include "gdas.*/00/atmos/hdas.t00z.sfcf000.nc"

(chạy khô) tải xuống s3://noaa-bdp-pds/gdas.20210001/00/atmos/hdas.t00z.sfcf000.nc về noaa-bdp-pds /gdas.20210001/00/atmos/hdas.t00z.sfcf000. nc
 ...
 ...

^{Hãy nhớ sử dụng một thư mục trống, nếu không nó có thể ảnh hưởng đến đầu ra.}

Bây giờ, bạn có thể sử dụng điều này để xây dựng một vòng lặp:

#!/bin/bash
cho dòng trong $( \
    đồng bộ hóa aws s3 s3://noaa-bdp-pds . \
    --exclude "*" --include "gdas.*/00/atmos/hdas.t00z.sfcf000.nc" | awk '/s3:\/\//{print $3}' --dryrun \
); làm
    [[ $line =~ .*/gdas.(.*)/00/.* ]] && \
    echo aws s3 cp ${BASH_REMATCH[0]} s3://s3internal/raw/HDAS/hdas.${BASH_REMATCH[1]}_00Z.nc
xong

^{Khi bạn hài lòng với kết quả, hãy xóa tiếng vang để sao chép các tập tin.}