[python-multiprocessing] タグが付いた質問
20 件の質問
0
票
0
回答
111
閲覧数
python, multiprocessingにて一つのプロセスが終了したら他のプロセスが止まってしまう
強化学習でオセロの学習をする際��multiprocessingを使用したとき、
一つのプロセスが終わるまでは問題なく他のプロセスも動いているのですが、終わるとほかのプロセスが停止してしまい、タスクマネージャーを見てもpythonのタスクが出ていたのが終了しています。for文の後ろにdist.barrier()を設置しても一つだけそこで止まってほかのプロセスが終了しているように思います。
...
0
票
1
回答
444
閲覧数
multiprocessing.Queue と multiprocessing.manager().Queue() の問題について
Pythonのマルチプロス間で通信をする場合、以下2つの方法があるようです。
Python multiprocessing.Queue vs multiprocessing.manager().Queue()
(日本語訳は引用者によるもの)
multiprocessing.Queue は受け渡しが高速だが共有メモリで問題が発生する可能性がある
multiprocessing.manager()....
0
票
2
回答
1,011
閲覧数
PythonでGUIのボタンを押したときにmultiprocessingを動作させたい
Pythonでのmultiprocessingの仕様について調べているのですが、エラーになってうまくいきません。
以下の例の実行前に3つをライブラリをpip installしてください。
pip install docutils pygments pypiwin32 kivy.deps.sdl2 kivy.deps.glew
pip install kivy.deps.gstreamer --...
0
票
1
回答
2,895
閲覧数
Google colabを使って並列化計算の状況について
現在Google colab (Pro)上でPythonコードを使っています。
手元のサーバーではPythonを使ってmultiprocessingやmultithreadingによる並列計算もできます。
Google colabを使用して、並列計算をしたいと考えています。
Google colabは頻繁に使用規約が変更されるため、自分なりに調べてはしましたが、いまいち把握できていません。
...
0
票
0
回答
633
閲覧数
マルチプロセスで起動したタスクに名前を付ける方法
概要
マルチプロセスで動作させているプロセスタスクをタスクマネージャーで監視すると、全てPythonという名前になってしまいます。
これを任意に名前に変更する方法はあるのでしょうか?
multiprocessing.Processメソッドの引数nameを代入しても変化ありません。
0
票
1
回答
362
閲覧数
ThreadingTCPServerへSocketHandlerを使ってログを送信するとプログラムが終了しなくなります。(Python logging 関連)
問題
deadlockのようなものが発生し、プログラムが終了しません。
公式サイトを参考にして作った、multiprocessingを用いた並列処理中のログをサーバースレッドを立てて一括管理するプログラムで起こりました。
Ctrl+Cによるエラーメッセージ
Exception ignored in: <module 'threading' from '/Users/username/...
1
票
0
回答
166
閲覧数
Discord.pyでmultiprocessingを使った時、正常に動作しない。
Discord.pyでコマンドが実行された場合にmultiprocessingを利用し、ブロッキングされないようにしてタイマーを実行したいと思っています。
しかし実際に動作させようとすると正しく動作しません。(メッセージがコンソールに表示されず、反応もしない。)
解決法を知っている方がおりましたらご教授いただければと思います。
ファイルは以下の通りです。
main.py
import ...
1
票
0
回答
452
閲覧数
macOS環境での Pythonのmultiprocessingについて
以下のコードをGoogle Colabでやるとすぐ終わるのですが、Macのローカル環境でJupyter Notebookを使うと相当長い時間かかります(というか数時間経っても終わりません)。
原因を教えていただければ幸いです。
なお、Pythonのバージョンは3.8、Macのバージョンは11.2.3でM1ではありません。
from multiprocessing import Pool
def ...
1
票
1
回答
1,241
閲覧数
実行スレッドによって、同じSQLite書き込み処理時間が大きく異なるのはなぜでしょうか?
プログラム内容
マルチスレッドおよびマルチプロセスを組み合わせたプログラムとなっており、下図ような構成で動作しています。
現在、リファクタリング中で、ProcessA-Cの処理は以前はThreadでしたが、高速化のために並行処理させるため、MultiProcess化しています。
追記情報
Thread M1をMultiProcessでプロセス化しました。
これにより、...
0
票
0
回答
2,017
閲覧数
Python マルチプロセスで同じログファイルにログを書き出すときの注意点はありますか
同一のアプリケーション内で複数のマルチプロセスを立ち上げ、並列性のある動作をさせる必要があります。
しかし、外部から見ると、ひとつのアプリケーションなので、ログはひとつにまとめ時系列に記述さえたいと思います。
プロセスごとに異なるメモリ空間となるため、それぞれの子プロセス内で、setLoggerを同じ設定で行う必要があります。
以下にサンプルコードを記述します。
...
0
票
1
回答
372
閲覧数
データ通信、データベース書き込みを伴うサーバーでのマルチスレッド、マルチプロセス設計について
前書き: 知識不足な点が多く、見当違いなことや的外れなことを書いていたら申し訳ございません。
分からない事: サーバーアプリケーションでのマルチスレッド(マルチプロセス)を使用した最適な設計
作成したいプログラム: スマートフォンから受信したデータを保存するサーバー
スマートフォンとの通信 :gRPC
スマホから受信したデータの管理: MySQL
考えている動作の流れ
スマホからgRPCの送信
...
0
票
1
回答
145
閲覧数
multiprocessingモジュールによる、各プロセスの動かし方について
『入門 Python3』を読みながら、JupyterLabを使ってPythonを学んでいます。
OSはwindows10です。
『10.3.2 multiprocessingによるプロセスの作成』より。
まず、以下のコードが書かれたmp.pyというファイルを作ります。
これは、Process()関数により、do_this()関数を4回実行させるものです。
import ...
0
票
2
回答
600
閲覧数
multiprocessingモジュールのJoinableQueueを使った複数のプロセスの実行について
Pythonについて。
只今、『入門 Python3』を読みながら、
JupyterLabを使ってPythonを学んでいます。
OSはwindows10です。
『11.1.2 プロセス』より。
以下のコードは、皿洗いプロセスと乾燥プロセスで仕事を分担し、JoinableQueueを使って、その間で通信をしながらタスクを処理するというプログラムです。
...
0
票
1
回答
5,644
閲覧数
multiprocessingモジュールのterminate()による、プロセスの強制終了について
Pythonについて。
只今、『入門 Python3』を読みながら、
JupyterLabを使ってPythonを学んでいます。
OSはwindows10です。
『10.3.3 terminate()によるプロセスの強制終了』より。
以下のプログラムは、
1から100万まで数えるものです。
ただし、1ステップごとに1秒眠ります。
そして、5秒経つとterminate()...
0
票
1
回答
781
閲覧数
Python の multiprocessing モジュールを使うと出力の順番が変わるのは何故ですか?
『入門 Python3』を読みながら、JupyterLabを使ってPythonを学んでいます。
OSはwindows10です。
『10.3.2 multiprocessingによるプロセスの作成』より。
まず、以下のコードが書かれたmp.pyというファイルを作ります。
これは、Process()関数により、do_this()関数を4回実行させるものです。
見にくくて申し訳ありませんが、...