Helpex - Trao đổi & giúp đỡ Đăng nhập

Sử dụng AWS SageMaker để đào tạo một mô hình để tạo văn bản (Phần 1)

Nếu bạn đã theo dõi bất kỳ bài đăng nào gần đây của tôi, bạn sẽ biết tôi đã sử dụng các mô hình RNN để tạo văn bản từ một mô hình được đào tạo với các tweet trước đây của tôi và văn bản từ tất cả các bài đăng trước đây của tôi và đưa nó vào bot Twitter : @kevinhookebot .

Vấn đề tôi gặp phải bây giờ là các tập lệnh và mô hình tạo đang chạy bằng Lua và mặc dù tôi có thể cài đặt nó vào một phiên bản EC2, tôi không muốn trả tiền cho một phiên bản EC2 tăng 100% thời gian. Hiện tại, khi tôi tạo một lô văn bản mới cho bot Twitter của mình, tôi khởi động một máy chủ cục bộ chạy các tập lệnh và mô hình, tạo văn bản mới và sau đó chuyển nó sang DynamoDB để được bot chọn khi nó được lên kế hoạch chạy. Với các dịch vụ Machine Learning do AWS cung cấp, phải có một thứ gì đó vượt ra ngoài tôi có thể sử dụng trên AWS để tự động hóa các bước này.

Hãy xem sử dụng AWS SageMaker .

Đầu tiên, tôi đã tạo ra một máy tính xách tay SageMaker với vai trò mới, để truy cập các thùng S3 có "sagemaker" trong tên.

Sau đó, tôi đã tạo một nhóm S3 - sagemaker-kevinhooke-ml - và tải lên một bản sao của tệp dữ liệu của tôi (tất cả các bài đăng trước đây của tôi từ blog này, được ghép vào một tệp duy nhất).

Tiếp theo, tôi đã tạo một Công việc đào tạo mới.

Bạn cần chọn một thuật toán cho khóa đào tạo và có một lựa chọn các thuật toán được cung cấp cho các mục đích khác nhau. Để tạo văn bản mới 'theo kiểu' văn ​​bản mà tôi sẽ đào tạo mô hình, 'Sequence2Sequence' trông giống như những gì tôi cần.

Khi hoàn thành Công việc đào tạo, tôi đã gặp lỗi này:

Sử dụng AWS SageMaker để đào tạo một mô hình để tạo văn bản (Phần 1)

Ok, vậy hãy thay đổi loại thể hiện. Tôi đã chọn các trường hợp nhỏ nhất trước đây:

Sử dụng AWS SageMaker để đào tạo một mô hình để tạo văn bản (Phần 1)

Và có vẻ như bạn không thể thay đổi loại trên Notebook. Vì vậy, hãy tạo một Notebook mới. Nhìn vào các loại ví dụ , các loại có hỗ trợ GPU nằm ở phía rộng, vì vậy hãy chọn các tùy chọn nhỏ nhất và thử lại.

Tại thời điểm này, tôi nhận ra loại ví dụ mà nó đang nói là dành cho công việc đào tạo , không phải cho sổ ghi chép và được chỉ định ở đây:

Sử dụng AWS SageMaker để đào tạo một mô hình để tạo văn bản (Phần 1)

Vì vậy, hãy chọn một trong các loại GPU và thử lại.

Công việc đào tạo đầu tiên đang chạy:

Sử dụng AWS SageMaker để đào tạo một mô hình để tạo văn bản (Phần 1)

Lỗi tiếp theo:

Sử dụng AWS SageMaker để đào tạo một mô hình để tạo văn bản (Phần 1)

Hmm, tắt để đọc một số tài liệu để xem những gì cần thiết để chạy công việc đào tạo này. Các tài liệu ở đây mô tả những gì cần thiết cho thuật toán sequ2 resultence và rõ ràng tôi đang thiếu một số bước, vì vậy tôi sẽ tạm dừng ở đây và sẽ quay lại với bản cập nhật sau.

10 hữu ích 0 bình luận 7.6k xem chia sẻ

Có thể bạn quan tâm

loading