Ray 2.55 বড় মাপের AI মডেল স্থাপনার জন্য ফল্ট টলারেন্স যোগ করেছে

Joerg Hiller এপ্রিল ০২, ২০২৬ ১৮:৩৫

Anyscale-এর Ray Serve LLM আপডেট vLLM WideEP স্থাপনার জন্য DP গ্রুপ ফল্ট টলারেন্স সক্ষম করে, বিতরণকৃত AI ইনফারেন্স সিস্টেমের জন্য ডাউনটাইম ঝুঁকি হ্রাস করে।

Ray 2.55 বড় মাপের AI মডেল স্থাপনার জন্য ফল্ট টলারেন্স যোগ করেছে

Anyscale তার Ray Serve LLM ফ্রেমওয়ার্কে একটি গুরুত্বপূর্ণ আপডেট প্রকাশ করেছে যা বড় মাপের AI ইনফারেন্স ওয়ার্কলোড চালানো প্রতিষ্ঠানগুলির জন্য একটি গুরুত্বপূর্ণ অপারেশনাল চ্যালেঞ্জ সমাধান করে। Ray 2.55 vLLM ওয়াইড এক্সপার্ট প্যারালেলিজম স্থাপনার জন্য ডেটা প্যারালেল (DP) গ্রুপ ফল্ট টলারেন্স প্রবর্তন করে—একটি বৈশিষ্ট্য যা একক GPU ব্যর্থতাকে সম্পূর্ণ মডেল সার্ভিং ক্লাস্টার বন্ধ হওয়া থেকে প্রতিরোধ করে।

আপডেটটি মিক্সচার অফ এক্সপার্টস (MoE) মডেল সার্ভিংয়ের একটি নির্দিষ্ট সমস্যাকে লক্ষ্য করে। ট্র্যাডিশনাল মডেল স্থাপনার বিপরীতে যেখানে প্রতিটি রেপ্লিকা স্বাধীনভাবে কাজ করে, DeepSeek-V3-এর মতো MoE আর্কিটেকচার এক্সপার্ট লেয়ারগুলিকে GPU-এর গ্রুপ জুড়ে শার্ড করে যা সম্মিলিতভাবে কাজ করতে হয়। যখন এই কনফিগারেশনে একটি GPU ব্যর্থ হয়, তখন সম্পূর্ণ গ্রুপ—সম্ভাব্যভাবে 16 থেকে 128 GPU জুড়ে—অকার্যকর হয়ে পড়ে।

প্রযুক্তিগত সমস্যা

MoE মডেলগুলি একাধিক GPU জুড়ে বিশেষায়িত "এক্সপার্ট" নিউরাল নেটওয়ার্ক বিতরণ করে। উদাহরণস্বরূপ, DeepSeek-V3 প্রতি লেয়ারে 256টি এক্সপার্ট ধারণ করে কিন্তু প্রতি টোকেনে মাত্র 8টি সক্রিয় করে। টোকেনগুলি যেকোনো GPU-তে রাউট হয় যা প্রয়োজনীয় এক্সপার্টদের ডিসপ্যাচ এবং কম্বাইন অপারেশনের মাধ্যমে ধারণ করে যার জন্য সমস্ত অংশগ্রহণকারী র‍্যাঙ্কগুলিকে সুস্থ থাকতে হয়।

পূর্বে, একক র‍্যাঙ্ক ব্যর্থতা এই সম্মিলিত অপারেশনগুলি ভেঙে ফেলত। প্রভাবিত গ্রুপে বেঁচে থাকা রেপ্লিকাগুলিতে কোয়েরি রাউটিং অব্যাহত থাকত, কিন্তু প্রতিটি রিকোয়েস্ট ব্যর্থ হত। পুনরুদ্ধারের জন্য সম্পূর্ণ সিস্টেম পুনরায় চালু করা প্রয়োজন ছিল।

Ray কীভাবে এটি সমাধান করে

Ray Serve LLM এখন গ্যাং শিডিউলিংয়ের মাধ্যমে প্রতিটি DP গ্রুপকে একটি পারমাণবিক ইউনিট হিসাবে বিবেচনা করে। যখন একটি র‍্যাঙ্ক ব্যর্থ হয়, তখন সিস্টেমটি সম্পূর্ণ গ্রুপকে অসুস্থ হিসাবে চিহ্নিত করে, এতে ট্রাফিক রাউটিং বন্ধ করে, ব্যর্থ গ্রুপটি ভেঙে ফেলে এবং এটিকে একটি ইউনিট হিসাবে পুনর্নির্মাণ করে। অন্যান্য সুস্থ গ্রুপগুলি সর্বত্র রিকোয়েস্ট সার্ভিং চালিয়ে যায়।

বৈশিষ্ট্যটি Ray 2.55-এ ডিফল্টরূপে সক্ষম হয়ে শিপ করে। বিদ্যমান DP স্থাপনার জন্য কোনো কোড পরিবর্তনের প্রয়োজন নেই—ফ্রেমওয়ার্কটি স্বয়ংক্রিয়ভাবে গ্রুপ-স্তরের স্বাস্থ্য পরীক্ষা, শিডিউলিং এবং পুনরুদ্ধার পরিচালনা করে।

অটোস্কেলিং এই সীমানাগুলিকেও সম্মান করে। স্কেল-আপ এবং স্কেল-ডাউন অপারেশনগুলি পৃথক রেপ্লিকার পরিবর্তে গ্রুপ-আকারের বৃদ্ধিতে ঘটে, যা আংশিক গ্রুপের তৈরি প্রতিরোধ করে যা ট্রাফিক সার্ভ করতে পারে না।

অপারেশনাল প্রভাব

আপডেটটি একটি গুরুত্বপূর্ণ ডিজাইন বিবেচনা তৈরি করে: গ্রুপের প্রশস্ততা বনাম গ্রুপের সংখ্যা। Anyscale দ্বারা উদ্ধৃত vLLM বেঞ্চমার্ক অনুসারে, প্রতি GPU থ্রুপুট 32, 72, এবং 96 এর এক্সপার্ট প্যারালেল সাইজ জুড়ে তুলনামূলকভাবে স্থিতিশীল থাকে। এর অর্থ হল অপারেটররা দক্ষতা ত্যাগ না করে ছোট গ্রুপের দিকে টিউন করতে পারেন—এবং ছোট গ্রুপের অর্থ ব্যর্থতা ঘটলে ছোট ব্লাস্ট রেডিআই।

Anyscale উল্লেখ করে যে এই অর্কেস্ট্রেশন-স্তরের স্থিতিস্থাপকতা vLLM কমিউনিটিতে ঘটছে ইঞ্জিন-স্তরের ইলাস্টিসিটি কাজের পরিপূরক। vLLM ইলাস্টিক এক্সপার্ট প্যারালেলিজম RFC এ সম্বোধন করে যে কীভাবে রানটাইম একটি গ্রুপের মধ্যে গতিশীলভাবে টপোলজি সামঞ্জস্য করতে পারে, যখন Ray Serve LLM পরিচালনা করে কোন গ্রুপগুলি বিদ্যমান এবং ট্রাফিক গ্রহণ করে।

বড় মাপে DeepSeek-স্টাইল মডেল স্থাপন করা প্রতিষ্ঠানগুলির জন্য, ব্যবহারিক সুবিধা সরল: GPU ব্যর্থতাগুলি সিস্টেম-ব্যাপী বিভ্রাটের পরিবর্তে স্থানীয় ঘটনায় পরিণত হয়। কোড নমুনা এবং পুনরুত্পাদন পদক্ষেপগুলি Anyscale-এর GitHub রিপোজিটরিতে উপলব্ধ।

চিত্র সূত্র: Shutterstock