IT <code> - Tag multiprocessing [Câu hỏi]

358
hữu ích
18trả lời
302k xem

Python đa xử lý pool.map cho nhiều đối số?

Trong thư viện đa xử lý Python, có một biến thể của pool.map hỗ trợ nhiều đối số không? text = "test" def harvester(text, case): X = case[0] text+ str(X) if __name__ == '__main__': pool =…
642
hữu ích
10trả lời
273k xem

Đa xử lý so với Python luồng?

Tôi đang cố gắng để hiểu những lợi thế của đa xử lý trên luồng . Tôi biết rằng đa xử lý có được xung quanh Khóa phiên dịch toàn cầu, nhưng có những lợi thế nào khác và có thể xâu chuỗi không làm điều tương tự?…
81
hữu ích
4trả lời
58k xem

Đa xử lý: Làm thế nào để tôi chia sẻ một dict giữa nhiều tiến trình?

Một chương trình tạo ra một số quy trình hoạt động trên hàng đợi có thể tham gia Qvà cuối cùng có thể thao túng một từ điển toàn cầu Dđể lưu trữ kết quả. (vì vậy mỗi quy trình con có thể sử dụng Dđể lưu trữ kết quả của nó và…
89
hữu ích
8trả lời
42k xem

Đa xử lý: chia sẻ một đối tượng chỉ đọc lớn giữa các tiến trình?

Các tiến trình con có sinh ra thông qua các đối tượng chia sẻ đa xử lý được tạo trước đó trong chương trình không? Tôi có các thiết lập sau: do_some_processing(filename): for line in file(filename): if…
69
hữu ích
3trả lời
51k xem

Bắt Ctrl + C / SIGINT và thoát đa xử lý một cách duyên dáng trong python?

Làm cách nào để bắt Ctrl + C trong chương trình python đa xử lý và thoát tất cả các quy trình một cách duyên dáng, tôi cần giải pháp để hoạt động cả trên unix và windows. Tôi đã thử như sau: import multiprocessing import…
74
hữu ích
5trả lời
21k xem

Chia sẻ mảng Numpy lớn, chỉ đọc giữa các quy trình đa xử lý?

Tôi có Mảng SciPy (Ma trận) 60GB Tôi phải chia sẻ giữa 5+ multiprocessing Processđối tượng. Tôi đã xem numpy-sharedmem và đọc cuộc thảo luận này trên danh sách SciPy. Dường như có hai cách tiếp cận-- numpy-sharedmemvà sử dụng…
131
hữu ích
1trả lời
53k xem

Đa xử lý.Pool: Sự khác biệt giữa map_async và imap là gì?

Tôi đang cố gắng học cách sử dụng multiprocessinggói của Python , nhưng tôi không hiểu sự khác biệt giữa map_asyncvà imap. Tôi nhận thấy rằng cả hai map_asyncvà imapđược thực hiện không đồng bộ. Vậy khi nào tôi nên sử dụng cái…
88
hữu ích
1trả lời
6.8k xem

Áp dụng hiệu quả một chức năng cho DataFrame được nhóm song song?

Tôi thường cần áp dụng một hàm cho các nhóm rất lớn DataFrame(gồm các loại dữ liệu hỗn hợp) và muốn tận dụng nhiều lõi. Tôi có thể tạo một trình vòng lặp từ các nhóm và sử dụng mô đun đa xử lý, nhưng nó không hiệu quả vì…
157
hữu ích
14trả lời
82k xem

Đa xử lý: Làm thế nào để sử dụng Pool.map trên một hàm được định nghĩa trong một lớp?

Khi tôi chạy một cái gì đó như: from multiprocessing import Pool p = Pool(5) def f(x): return x*x p.map(f, [1,2,3]) nó hoạt động tốt. Tuy nhiên, đặt điều này như là một chức năng của một lớp: class…
112
hữu ích
1trả lời
51k xem

Đa xử lý - Ống vs Hàng đợi?

Sự khác biệt cơ bản giữa hàng đợi và đường ống trong gói đa xử lý của Python là gì? Trong những kịch bản nên chọn một trong những kịch bản khác? Khi nào thì thuận lợi để sử dụng Pipe()? Khi nào thì thuận lợi để sử dụng…
75
hữu ích
5trả lời
139k xem

Ví dụ đơn giản về việc sử dụng Hàng đợi đa xử lý, Nhóm và Khóa?

Tôi đã cố đọc tài liệu tại http://docs.python.org/dev/l Library / multiprocessing.html nhưng tôi vẫn đang vật lộn với nhiều hàng đợi, Pool và Khóa. Và bây giờ tôi đã có thể xây dựng ví dụ dưới đây. Về Queue và Pool, tôi…
71
hữu ích
8trả lời
34k xem

Django đa xử lý và kết nối cơ sở dữ liệu?

Lý lịch: Tôi đang làm việc với một dự án sử dụng Django với cơ sở dữ liệu Postgres. Chúng tôi cũng đang sử dụng mod_wsgi trong trường hợp có vấn đề, vì một số tìm kiếm trên web của tôi đã đề cập đến nó. Khi gửi biểu mẫu…
80
hữu ích
4trả lời
80k xem

Làm cách nào để khắc phục sự cố một AttributionError: __exit__ 'trong đa hướng trong Python?

Tôi đã cố gắng viết lại một số mã đọc csv để có thể chạy nó trên nhiều lõi trong Python 3.2.2. Tôi đã cố gắng sử dụng Poolđối tượng của đa xử lý, mà tôi đã điều chỉnh từ các ví dụ hoạt động (và đã làm việc cho tôi cho một phần…
117
hữu ích
10trả lời
59k xem

Bàn phím bị gián đoạn với nhóm đa xử lý của python?

Làm cách nào tôi có thể xử lý các sự kiện Bàn phím bị gián đoạn với Nhóm đa xử lý của python? Đây là một ví dụ đơn giản: from multiprocessing import Pool from time import sleep from sys import exit def…
114
hữu ích
3trả lời
27k xem

Tại sao đa xử lý chỉ sử dụng một lõi sau khi tôi nhập numpy?

Tôi không chắc liệu đây có phải là vấn đề của hệ điều hành hay không, nhưng tôi nghĩ tôi sẽ hỏi ở đây trong trường hợp có ai đó hiểu rõ về kết thúc của Python. Tôi đã cố gắng song song hóa một forvòng lặp nặng CPU joblib,…

15 30 50 mỗi trang