Làm cách nào để kết hợp hai tệp trong khi loại trừ các dòng tồn tại trong cả hai tệp?

Tôi có 2 tệp không thể sắp xếp được. Cả hai đều có một danh sách các từ trên mỗi dòng. Tôi đang cố so sánh cả hai tệp và tạo một tệp mới không có bất kỳ dòng trùng lặp nào khớp giữa cả hai tệp. Điều này có nghĩa là nếu một dòng trên tệp A được tìm thấy trên tệp B, thì nó sẽ không hiển thị dưới dạng kết quả đầu ra.

Có một vấn đề lớn với nhiều câu hỏi và trang web có tiêu đề "Xóa các bản sao" trong khi thực tế đó là "Hợp nhất các bản sao và hiển thị một bản duy nhất". 2 điểm này rất khác nhau. Một là không thực sự xóa các dòng trùng lặp, chỉ hợp nhất chúng.

Đối với trường hợp cụ thể này, tôi thực sự cần phải XÓA CHÚNG. Vì vậy, nếu chúng được tìm thấy trong cả hai tệp, kết quả là chúng sẽ không hiển thị.

tôi đã thử rồi liên lạc rồi và điều này không thành công. Mình cũng đã test vài trường hợp khác như awk, grep mà mình từng thấy. Các quy tắc cho cả hai tệp là như sau:

• Chúng có kích thước khác nhau (Không có cùng số lượng dòng)
• Để trở thành một bản sao, nó so sánh toàn bộ dòng với từng dòng và tất cả các dòng khác trong tệp khác
• Tập tin không thể được sắp xếp

Đây là một số thông tin về các tệp, chúng mang danh sách email, một email trên mỗi dòng. Tất nhiên vì chúng không có cùng kích thước, điều đó không có nghĩa là chúng sẽ có tất cả các email giống nhau, nhưng chúng có tất cả các email duy nhất bên trong nhau. Chỉ là một số email có thể có trên cả hai tệp. Đối với trường hợp email nằm trên cả hai tệp, kết quả đầu ra sẽ không hiển thị các email đó.

Có nhiều cách hiệu quả hơn, nhưng đây là một giải pháp. Tôi không chắc bạn muốn hợp nhất các tệp như thế nào. Vì vậy, trong giải pháp này, các dòng riêng biệt từ tệp1 được ghi vào tệp mới, sau đó các dòng riêng biệt từ tệp2 được ghi vào tệp mới.

# remove_dupes.py
từ nhập sys argv

infile1 = open( str(argv[1]), "r")
infile2 = mở( str(argv[2]), "r")
cố gắng:
    tệp ngoài = open( str(argv[3]), "w")
ngoại trừ (Lỗi chỉ mục):
    outfile = open( 'ra', "w")


if1_arr = infile1.readlines()
if2_arr = infile2.readlines()
tmp_arr = if2_arr



loại trừ = []
cho dòng trong if1_arr:
    dòng if trong if2_arr:
        loại trừ.append(dòng)
    khác:
        outfile.write(dòng)

cho dòng trong if2_arr:
    nếu dòng không bị loại trừ:
        outfile.write(dòng)

infile1.close()
infile2.close()
outfile.close()

Chạy:

python3 remove_dupes.py <file1> <file2> <output_file>

Nếu bạn muốn biến công cụ này thành một công cụ dòng lệnh nhanh hơn, hãy di chuyển tập lệnh đến một nơi lâu dài và thêm dòng sau vào tệp .bashrc, .bash_aliases, .zshrc hoặc tệp tương đương của bạn.

alias mydiff='python3 <path_to_script>'

Bạn có thể thay thế 'mydiff' bằng bất cứ tên gọi nào bạn muốn. Sau đó, bạn có thể chạy tập lệnh với:

mydiff <file1> <file2> <output_file>