Модифікація алгоритму пулу потоків з багатьма чергами

В статті пропонується модифікація алгоритму пула потоків, запропонованого Шоном Парентом на конференції NDC London 2017. Алгоритм, який пропонується, не уступає оригінальному алгоритму по швидкодії та простоті реалізації, і водночас усуває потенційний недолік оригінального алгоритму, який полягає в тому, що при певних обставинах кілька задач можуть виконуватися на одному і тому ж потоці, в той час як інші потоки можуть знаходитися в стані очікування задачі.

Основна ідея, яка запропонована в роботі, полягає у відслідковуванні сумарної кількості задач, які знаходяться в чергах пула потоків. Коли головний потік поміщає нову задачу в якусь із черг, лічильник кількості задач збільшується на одиницю. Коли задача вилучається з черги, лічильник кількості задач зменшується на одиницю. У випадку, коли потік пула хоче отримати задачу, він переглядає черги до тих пір, доки йому не вдасться отримати задачу з якоїсь із черг, або доки лічильник кількості задач не стане рівним нулю. Якщо лічильник кількості задач стає рівним нулю, потік переходить в стан сну до моменту, коли лічильник кількості потоків не стане знову ненульовим. Тоді один із потоків пула прокидається і починає перевіряти черги на наявність задач. Дуже важливим моментом при цьому є зберегти рівномірний розподіл задач по чергах, оскільки це має суттєвий вплив на швидкодію програми.