Keyboard shortcuts

Press ← or → to navigate between chapters

Press S or / to search in the book

Press ? to show this help

Press Esc to hide this help

asynchronous programming-এর মূল কথা: async, await, future ও stream

কম্পিউটারকে দিয়ে আমরা যে অনেক কাজ করাই, তার কিছু শেষ হতে বেশ সময় লাগে। এই দীর্ঘ সময় ধরে চলা কাজগুলো শেষ হওয়ার অপেক্ষার সময় অন্য কিছু করতে পারলে ভালো হতো। আধুনিক কম্পিউটার একসঙ্গে একাধিক কাজ করার দুটি কৌশল দেয়: parallelism আর concurrency। তবে আমাদের প্রোগ্রামের logic বেশিরভাগ ক্ষেত্রে সরলরৈখিকভাবে লেখা হয়। আমরা চাই একটি প্রোগ্রামের কী কী কাজ করা উচিত এবং কোন কোন জায়গায় একটি function থেমে প্রোগ্রামের অন্য কোনো অংশ চলতে পারে তা বলে দিতে, প্রতিটি কোড-অংশ ঠিক কোন ক্রমে ও কীভাবে চলবে তা আগে থেকে উল্লেখ না করেই। Asynchronous programming (asynchronous programming) হলো এমন একটি abstraction, যা সম্ভাব্য থামার জায়গা আর শেষ পর্যন্ত পাওয়া ফলের ভাষায় আমাদের কোড প্রকাশ করতে দেয়, এবং সমন্বয়ের খুঁটিনাটি আমাদের হয়ে সামলায়।

এই অধ্যায় অধ্যায় 16-এ parallelism আর concurrency-র জন্য thread ব্যবহারের ওপর ভিত্তি করে কোড লেখার একটি বিকল্প পদ্ধতির সঙ্গে পরিচয় করায়: Rust-এর future, stream, আর async ও await syntax, যা দিয়ে প্রকাশ করা যায় operation কীভাবে asynchronous হতে পারে, এবং third-party crate, যা asynchronous runtime implement করে: এমন কোড, যা asynchronous operation-এর চলা সামলায় ও সমন্বয় করে।

একটি উদাহরণ ভাবা যাক। ধরুন আপনি পারিবারিক একটি অনুষ্ঠানের তৈরি করা video export করছেন, যাতে কয়েক মিনিট থেকে কয়েক ঘণ্টা পর্যন্ত সময় লাগতে পারে। video export যতটা সম্ভব CPU আর GPU শক্তি ব্যবহার করবে। আপনার যদি মাত্র একটি CPU core থাকত, আর আপনার operating system export শেষ না হওয়া পর্যন্ত সেটি না থামাত—অর্থাৎ export-টি যদি synchronously (একটির পর একটি, অপেক্ষা করে) চালাত—তাহলে কাজটি চলার সময় আপনি কম্পিউটারে আর কিছুই করতে পারতেন না। সেটা বেশ বিরক্তিকর অভিজ্ঞতা হতো। সৌভাগ্যক্রমে আপনার কম্পিউটারের operating system অদৃশ্যভাবে export-টিকে যথেষ্ট ঘন ঘন থামাতে পারে এবং থামায়ও, যাতে আপনি একসঙ্গে অন্য কাজও করতে পারেন।

এবার ধরুন আপনি অন্য কারও ভাগ করা একটি video download করছেন, যাতেও বেশ সময় লাগতে পারে, কিন্তু অতটা CPU সময় লাগে না। এই ক্ষেত্রে CPU-কে network থেকে ডেটা আসার জন্য অপেক্ষা করতে হয়। ডেটা আসা শুরু হলেই পড়তে শুরু করা যায়, কিন্তু সবটা আসতে কিছু সময় লাগতে পারে। সব ডেটা এসে গেলেও video বেশ বড় হলে সবটা load করতে অন্তত এক-দুই সেকেন্ড লাগতে পারে। শুনতে হয়তো খুব বেশি মনে হয় না, কিন্তু প্রতি সেকেন্ডে শত শত কোটি operation করতে পারে এমন একটি আধুনিক processor-এর জন্য এটি অনেক দীর্ঘ সময়। আবারও, network call শেষ হওয়ার অপেক্ষার সময় CPU-কে অন্য কাজ করতে দিতে আপনার operating system অদৃশ্যভাবে আপনার প্রোগ্রাম থামাবে।

video export হলো একটি CPU-bound বা compute-bound (হিসাবের গতির ওপর নির্ভরশীল) operation-এর উদাহরণ। এটি সীমিত CPU বা GPU-র ভেতরে কম্পিউটারের সম্ভাব্য ডেটা প্রক্রিয়ার গতি দিয়ে, আর সেই গতির কতটা এই operation-কে দেওয়া যায় তা দিয়ে। video download হলো একটি I/O-bound (input/output-এর গতির ওপর নির্ভরশীল) operation-এর উদাহরণ, কারণ এটি সীমিত কম্পিউটারের input and output-এর গতি দিয়ে; network দিয়ে ডেটা যত দ্রুত পাঠানো যায়, এটি তার চেয়ে দ্রুত চলতে পারে না।

এই দুটি উদাহরণেই operating system-এর অদৃশ্য বাধা এক ধরনের concurrency দেয়। তবে সেই concurrency ঘটে শুধু পুরো প্রোগ্রামের স্তরে: operating system একটি প্রোগ্রাম থামিয়ে অন্য প্রোগ্রামগুলোকে কাজ করতে দেয়। অনেক ক্ষেত্রে আমরা যেহেতু operating system-এর চেয়ে অনেক বেশি খুঁটিনাটি স্তরে আমাদের প্রোগ্রাম বুঝি, তাই এমন concurrency-র সুযোগ দেখতে পাই যা operating system দেখতে পায় না।

যেমন, ফাইল download সামলানোর একটি tool বানালে আমাদের এমনভাবে প্রোগ্রাম লিখতে পারা উচিত যাতে একটি download শুরু করলে UI আটকে না যায়, এবং ব্যবহারকারীরা একই সময়ে একাধিক download শুরু করতে পারে। তবে network-এর সঙ্গে কাজ করার জন্য operating system-এর অনেক API blocking (আটকে রাখে এমন); অর্থাৎ, যে ডেটা প্রক্রিয়া করছে তা পুরোপুরি প্রস্তুত না হওয়া পর্যন্ত এরা প্রোগ্রামের অগ্রগতি আটকে রাখে।

Note: ভেবে দেখলে বেশিরভাগ function call এভাবেই কাজ করে। তবে blocking পরিভাষাটি সাধারণত সেই function call-এর জন্য রাখা হয় যা ফাইল, network বা কম্পিউটারের অন্য resource-এর সঙ্গে কাজ করে, কারণ এই ক্ষেত্রগুলোতেই operation-টি non-blocking হলে একটি প্রোগ্রাম লাভবান হতো।

প্রতিটি ফাইল download করতে একটি নিবেদিত thread চালু করে আমরা main thread block হওয়া এড়াতে পারতাম। তবে সেই thread-গুলোর ব্যবহৃত system resource-এর বাড়তি খরচ শেষ পর্যন্ত একটি সমস্যা হয়ে দাঁড়াত। ভালো হতো যদি call-টি প্রথমেই block না করত, বরং আমরা প্রোগ্রামকে দিয়ে শেষ করাতে চাই এমন কিছু task (কাজ) সংজ্ঞায়িত করতে পারতাম এবং সেগুলো চালানোর সেরা ক্রম ও ধরন বেছে নিতে runtime-কে দিতে পারতাম।

Rust-এর async (asynchronous-এর সংক্ষেপ) abstraction আমাদের ঠিক এটাই দেয়। এই অধ্যায়ে এই বিষয়গুলো দেখতে দেখতে আপনি async সম্পর্কে সবকিছু শিখবেন:

  • কীভাবে Rust-এর async আর await syntax ব্যবহার করতে হয় এবং একটি runtime দিয়ে asynchronous function চালাতে হয়
  • অধ্যায় 16-এ দেখা কিছু একই চ্যালেঞ্জ সমাধানে কীভাবে async model ব্যবহার করতে হয়
  • multithreading আর async কীভাবে পরস্পরের পরিপূরক সমাধান দেয়, যা অনেক ক্ষেত্রে মিলিয়ে ব্যবহার করা যায়

তবে async বাস্তবে কীভাবে কাজ করে তা দেখার আগে parallelism আর concurrency-র পার্থক্য নিয়ে আলোচনার জন্য আমাদের একটু ঘুরপথে যেতে হবে।

parallelism ও concurrency

এ পর্যন্ত আমরা parallelism আর concurrency-কে মোটামুটি একই অর্থে ব্যবহার করেছি। এখন এদের আরও নির্ভুলভাবে আলাদা করতে হবে, কারণ কাজ শুরু করলে পার্থক্যগুলো সামনে আসবে।

একটি software project-এর কাজ একটি দল কীভাবে ভাগ করে নিতে পারে, তার বিভিন্ন উপায় ভাবুন। আপনি একজন সদস্যকে একাধিক কাজ দিতে পারেন, প্রত্যেক সদস্যকে একটি করে কাজ দিতে পারেন, বা দুটি পদ্ধতি মিলিয়ে ব্যবহার করতে পারেন।

একজন ব্যক্তি যখন কোনোটি শেষ না করেই কয়েকটি ভিন্ন কাজে কাজ করেন, তখন তা concurrency। concurrency implement করার একটি উপায় অনেকটা এমন: আপনার কম্পিউটারে দুটি ভিন্ন project খোলা আছে, আর একটি project-এ বিরক্ত হলে বা আটকে গেলে আপনি অন্যটিতে চলে যান। আপনি একজন মানুষ, তাই ঠিক একই সময়ে দুটি কাজেই এগোতে পারেন না, তবে একাধিক কাজ সামলাতে পারেন, পালা করে একবারে একটিতে এগিয়ে (Figure 17-1 দেখুন)।

Task A আর Task B লেখা ওপর-নিচে সাজানো বাক্সের একটি diagram, যার ভেতরের হীরকাকৃতি চিহ্নগুলো subtask বোঝায়। তীরচিহ্ন যায় A1 থেকে B1, B1 থেকে A2, A2 থেকে B2, B2 থেকে A3, A3 থেকে A4, আর A4 থেকে B3-তে। subtask-গুলোর মাঝের তীরচিহ্নগুলো Task A আর Task B-র বাক্সের মাঝখান দিয়ে আড়াআড়ি যায়।
Figure 17-1: একটি concurrent কাজের ধারা, যা Task A আর Task B-র মধ্যে পালা বদল করে

দল যখন একগুচ্ছ কাজ এমনভাবে ভাগ করে যে প্রত্যেক সদস্য একটি কাজ নিয়ে একা কাজ করেন, তখন তা parallelism। দলের প্রত্যেকে ঠিক একই সময়ে এগোতে পারেন (Figure 17-2 দেখুন)।

Task A আর Task B লেখা ওপর-নিচে সাজানো বাক্সের একটি diagram, যার ভেতরের হীরকাকৃতি চিহ্নগুলো subtask বোঝায়। তীরচিহ্ন যায় A1 থেকে A2, A2 থেকে A3, A3 থেকে A4, B1 থেকে B2, আর B2 থেকে B3-তে। Task A আর Task B-র বাক্সের মধ্যে কোনো তীরচিহ্ন আড়াআড়ি যায় না।
Figure 17-2: একটি parallel কাজের ধারা, যেখানে Task A আর Task B-র কাজ স্বাধীনভাবে হয়

এই দুই কাজের ধারাতেই আপনাকে হয়তো বিভিন্ন কাজের মধ্যে সমন্বয় করতে হবে। হয়তো ভেবেছিলেন একজনকে দেওয়া কাজটি বাকি সবার কাজ থেকে পুরোপুরি স্বাধীন, কিন্তু আসলে এর জন্য দলের আরেকজনকে আগে তার কাজ শেষ করতে হবে। কিছু কাজ parallel-ভাবে করা যেত, কিন্তু কিছু কাজ আসলে serial (ক্রমানুসারী) ছিল: এটি শুধু একটি ধারায়, একটির পর একটি করেই হতে পারত, যেমনটি Figure 17-3-এ।

Task A আর Task B লেখা ওপর-নিচে সাজানো বাক্সের একটি diagram, যার ভেতরের হীরকাকৃতি চিহ্নগুলো subtask বোঝায়। Task A-তে তীরচিহ্ন যায় A1 থেকে A2-তে, A2 থেকে “pause” চিহ্নের মতো এক জোড়া মোটা খাড়া দাগে, আর সেই চিহ্ন থেকে A3-তে। Task B-তে তীরচিহ্ন যায় B1 থেকে B2-তে, B2 থেকে B3-তে, B3 থেকে A3-তে, আর B3 থেকে B4-তে।
Figure 17-3: আংশিকভাবে parallel একটি কাজের ধারা, যেখানে Task A আর Task B-র কাজ স্বাধীনভাবে চলে, যতক্ষণ না Task A3 Task B3-এর ফলের জন্য আটকে যায়।

একইভাবে হয়তো বুঝবেন যে আপনার নিজের একটি কাজ আপনার আরেকটি কাজের ওপর নির্ভর করে। তখন আপনার concurrent কাজও serial হয়ে গেল।

parallelism আর concurrency একে অপরের সঙ্গে মিশেও যেতে পারে। যদি জানতে পারেন যে আপনার একটি কাজ শেষ না করা পর্যন্ত একজন সহকর্মী আটকে আছেন, তাহলে সম্ভবত সহকর্মীকে “মুক্ত” করতে আপনি সব চেষ্টা সেই কাজে দেবেন। তখন আপনি আর আপনার সহকর্মী আর parallel-ভাবে কাজ করতে পারছেন না, আর আপনিও নিজের কাজগুলোতে আর concurrent-ভাবে কাজ করতে পারছেন না।

software আর hardware-এর ক্ষেত্রেও একই মৌলিক গতিপ্রকৃতি কাজ করে। একটিমাত্র CPU core-যুক্ত যন্ত্রে CPU একবারে একটিই operation করতে পারে, কিন্তু তবুও concurrent-ভাবে কাজ করতে পারে। thread, process আর async-এর মতো হাতিয়ার ব্যবহার করে কম্পিউটার একটি কাজ থামিয়ে অন্য কাজে যেতে পারে, তারপর শেষ পর্যন্ত আবার প্রথম কাজে ফিরে আসে। একাধিক CPU core-যুক্ত যন্ত্রে এটি parallel-ভাবেও কাজ করতে পারে। একটি core একটি কাজ করার সময় আরেকটি core সম্পূর্ণ সম্পর্কহীন আরেকটি কাজ করতে পারে, আর সেই operation-গুলো সত্যিই একই সময়ে ঘটে।

Rust-এ async কোড সাধারণত concurrent-ভাবে চলে। hardware, operating system আর আমরা যে async runtime ব্যবহার করছি তার ওপর নির্ভর করে (async runtime নিয়ে একটু পরেই আরও বলব), সেই concurrency ভেতরে ভেতরে parallelism-ও ব্যবহার করতে পারে।

এবার চলুন দেখি Rust-এ async programming আসলে কীভাবে কাজ করে।