Vào thẳng nội dung

Các phương pháp kỹ thuật tạo prompt sử dụng ConZIC

Tóm tắt các phương pháp và kết quả của việc điều chỉnh mô hình CounTX với các prompt được tạo ra bởi ConZIC.

(Không chắc chắn liệu sử dụng ConZIC để tạo prompt là giải pháp tối ưu. Bởi vì đôi khi các prompt được tạo ra không phù hợp với hình ảnh. Tuy nhiên, các phương pháp này nên là chung và có thể áp dụng cho các mô hình khác nhau. Để bắt đầu, một bản tóm tắt ngắn gọn về khung ConZIC được cung cấp. Nó nên được sử dụng làm tham khảo khi áp dụng cho các mô hình khác.)

1. Khung ConZIC

Mô tả hình ảnh là nhiệm vụ tạo prompt từ một hình ảnh. ConZIC là mô hình không cần huấn luyện trước trong nhiệm vụ này.

Tạo prompt bằng cách lặp lại quá trình trong hình dưới đây.

  1. Ước lượng các từ được che bởi bộ mã hóa nhịp.
  2. Đánh giá lại các từ ước lượng trong ba mô hình.
  3. Xác định từ được che.

khung

2. Tạo các prompt phù hợp với mô hình nhận dạng hình ảnh

Phương pháp

Tạo prompt bởi ConZIC.(Bằng tiếng Anh) Ví dụ : 

arcled tubular steel.
numerous steel oil pipes
china developing steel pipes.

Tạo danh sách từ từ các prompt.

steel, oil, numerous, tubular, developing, pipes, china, arcled

Tính toán độ chính xác của từng từ và chọn các từ hàng đầu.

steel, oil, numerous, tubular, china

Sắp xếp và tạo prompt mới.

tubular numerous china steel oil
tubular numerous china oil steel
tubular numerous steel china oil
tubular numerous steel oil china
:
:

Tính toán độ chính xác của từng prompt và chọn prompt tốt nhất.

Kết quả

So sánh độ chính xác của các prompt sau đây cho hình ảnh của ống.

  1. "the pipes"
  2. Các prompt được tạo ra bởi các phương pháp trên.

kết quả

3. Khi nào sử dụng

Khi số lượng đối tượng được biết, tìm ra các prompt nào sẽ giúp mô hình đếm chúng một cách chính xác.