جهش سریع تقاضا برای توان پردازشی استنتاج: کمبود سرورهای محاسبات هوشمند و ظهور بازار بکر تریلیون یوآنی
در صنعت AI، احوالپرسیهای روزمره از «دستگاه شما چند PFLOPS توان دارد؟» یا «چند کارت توانستید تهیه کنید؟» به «به چند Token دسترسی دارید؟» و «هزینه تولید هر Token چقدر است؟» تغییر یافته است.
سهم توان پردازشی استنتاج به هفتاد درصد خواهد رسید
Ni Mingxuan، رئیس The Hong Kong University of Science and Technology در گوانگژو، اظهار داشت: «طی این سالها سرعت و پیشرفت چین پیوسته رکوردهای تازهای ثبت کرده و حتی گفتوگوهای روزمره ما نیز تغییر کرده است. قبلاً میپرسیدیم دستگاه شما چند P توان دارد، بعداً میپرسیدیم چند کارت پردازشی توانستهاید تهیه کنید، و اکنون میپرسیم به چند Token دسترسی دارید.» به گفته او، امروزه توان پردازشی نهتنها زیرساخت فنی، بلکه پیشران اصلی تحول در پارادایمهای پژوهش علمی به شمار میرود.
Yang Zhi، یکی از بنیانگذاران Xin'aisuan که خدمات تحویل سرور و آزمون فشار را به بازار ارائه میدهد، میگوید: «نیمه نخست سال گذشته، مشتریانی که به ما مراجعه میکردند بیشتر میپرسیدند برای آموزش یک مدل بزرگ به چند کارت نیاز است. اما اکنون از همان ابتدا میپرسند اجرای مدل در هر ثانیه چند Token خروجی میدهد و هزینه تولید هر Token چقدر تمام میشود.» او میافزاید که نبض بازار را زودتر حس میکنند. از نیمه دوم سال ۲۰۲۵، دادههای میدانی تحویل نشان داد که تقاضا برای استنتاج پیوسته رو به افزایش است و بهتدریج از آموزش پیشی میگیرد. با ورود همزمان انبوه Agentها به خط خدمات، مصرف Token آنها دهها و حتی صدها برابرِ گفتوگوهای معمولی چتباتها است. ترافیک برخی محصولات بلافاصله پس از راهاندازی، سرورها را اشباع کرد و شرکتها ناچار به افزایش اضطراری ظرفیت شدند.
Ding Zhaohui، معمار ارشد HPC در Huawei Kunpeng، با اشاره به اینکه «در نیمه دوم امسال، توسعهدهندگان بینالمللی با هشت Agent، هفت نرمافزار کلیدی Adobe از جمله Photoshop را بازنویسی کردند»، تأکید میکند که نقطه عطف برنامهنویسی با AI فرا رسیده است. مصرف Token در برنامهنویسی با AI در چین تقریباً در رتبه سوم جهان قرار دارد و چه در کوتاهتر شدن چرخه پروژهها و چه در سهم کدهای تولیدشده با AI، این ارقام همچنان رشد خواهند کرد.
Xiao Limin، دانشمند ارشد Lenovo Group، گفت: «میانگین مصرف روزانه Token در چین از ۱۰۰ میلیارد در سال ۲۰۲۴ به ۵۰۰ تریلیون در اوت امسال جهش یافته است. نیروی محرک اصلی پشت این روند، تکامل کاربردهای AI از رباتهای گفتوگوی ساده به نیروی کار دیجیتالی است که توانایی ادراک، برنامهریزی و اجرای وظایف را دارند. هر بار که یک Agent مأموریتی را انجام میدهد، توان پردازشی عظیمی مصرف میشود که مستقیماً کانون تقاضای پردازشی را از آموزش مدل به سوی استنتاج سوق داده است.» به گفته او، استنتاج به میدان اصلی بهکارگیری و پیادهسازی AI تبدیل شده است.
بر اساس «گزارش پژوهشی توسعه اقتصاد Token (۲۰۲۶)» که در سپتامبر امسال توسط CAICT منتشر شد، مصرف Token برای یک قسمت ۱٫۵ دقیقهای از یک مجموعه کوتاه ویدیویی تولیدشده با AI میتواند به ۵ تا ۱۰ میلیون برسد. با تجاریسازی و مقیاسپذیری کاربردهای AI، ساختار توان پردازشی پیوسته و پویا بهینهسازی میشود و تقاضا برای توان پردازشی استنتاج با سرعتی بالا رشد میکند؛ به طوری که پیشبینی میشود در سال ۲۰۲۶، سهم توان پردازشی استنتاج به ۷۰٫۵ درصد برسد.
شتاببخشی به استنتاج و افزایش بهرهوری توان پردازشی
با دریافت برق و توان پردازشی و تحویل Token استاندارد، شاخصهای کلیدی بهرهوری در کارخانههای Token در مقایسه با مراکز سنتی پردازش، از ظرفیت کل پردازش و نرخ اشغال رکها به بازده خروجی Token به ازای هر وات، بهای تمامشده هر واحد Token و کیفیت خدمات Token تغییر کرده است.
Yang Zhi معتقد است: «اکنون سرورهای محاسبات هوشمند با کمبود محسوس عرضه مواجه شدهاند. در شرایطی که تقاضا اوج گرفته و عرضه سختافزار نیز محدود است، راهکار چیست؟ باید بهرهوری را از نرمافزار طلب کرد.» در استنتاج، رقابت بر سر هزینه هر Token، بهرهوری انرژی و میزان تأخیر در سرویسدهی است و بهینهسازی نرمافزاری میتواند نسبت کارایی به هزینه را بهبود دهد. برای نمونه، DeepSeek سازوکار نوآورانه بارگذاری دومسیره KV Cache را ارائه داد که همزمانی خواندن داده و محاسبات GPU را ممکن ساخت و مشکل هرزگردی توان پردازشی در معماریهای سنتی را برطرف کرد. این نوآوری بازده اجرای آنلاین Agentها را ۱٫۹۶ برابر افزایش داد و عملکرد را صرفاً از طریق بهینهسازی نرمافزاری دو برابر کرد. وی افزود: «ترکیب فناوریهایی نظیر تفکیک Prefill-Decode و موازیسازی تخصصی در دقت FP4 میتواند ظرفیت عملیاتی بوردها را تا ۲۰ برابر ارتقا دهد. هرچه بهرهوری بالاتر رود و هزینه Token کاهش یابد، کاربران و سناریوهای کاربردی بیشتری پدید میآیند؛ بنابراین ارتقای کارایی نرمافزار مانع تقاضا نمیشود، بلکه تقاضای بهمراتب بزرگتری ایجاد میکند.»
در اوت امسال، AMD برای پاسخ به رشد سریع بازار استنتاج هوش مصنوعی، خرید شرکت تولید تراشههای استنتاج AI با نام Taalas را اعلام کرد. افزون بر این، در دسامبر گذشته، NVIDIA حدود ۲۰ میلیارد دلار در Groq، استارتاپ تراشههای استنتاج AI سرمایهگذاری کرد و با آن به «توافق مجوز غیرانحصاری» دست یافت تا مجوز فناوری تراشه Groq را دریافت کند. Yang Zhi گفت: «غولهای جهانی در حال رقابت بر سر تراشههای استنتاج ASIC هستند؛ زیرا به محض تثبیت معماری مدلهای بزرگ، فرصت فوقالعادهای برای ASIC فراهم میشود و این یک بازار بکر در مقیاس تریلیون یوآنی است.» او افزود که صنعت استنتاج در دو مسیر متضاد در حال گسترش است: یکی به سمت مقیاس بسیار بزرگ که ارائهدهندگان خدمات ابری و توسعهدهندگان مدلهای بزرگ با بهرهگیری از کلاسترهای استنتاج فوقبزرگ، مدلهایی با پارامترهای بسیار سنگین را اجرا میکنند؛ و دیگری به سوی مقیاس کوچک که در آن، مدلهای کوچک تخصصی، خطوط تولید کارخانهها و حتی دستگاههای نهایی اقدام به اجرای محلی مدلها با تمرکز بر هزینه اندک، مصرف انرژی پایین، قابلیت اتکای بالا و پردازش دادهها در مبدأ میکنند؛ جایی که رقابت بر سر سفارشیسازی است. تنها زمانی که تقاضا فوران کند، بهرهوری نرمافزاری مداوم شود، تراشهها متنوع گردند و استنتاج دوقطبی شود، عصر واقعی الگوی کارخانههای Token فراخواهد رسید.
Ding Zhaohui خاطرنشان کرد که معناشناسی حافظه با پهنای باند بالا ناشی از فناوری Supernode هماکنون نقشی حیاتی در آموزش و استنتاج AI ایفا میکند. علاوه بر این، CPU در حال بازگشت به جایگاه محوری محاسبات است؛ به طوری که نسبت CPU به GPU از ۱ به ۸ در دوران آموزش و ۱ به ۴ در دوران استنتاج، پیشبینی میشود در عصر Agentها به ۱ به ۱ یا حتی فراتر از آن برسد.
Xiao Limin، دانشمند ارشد Lenovo Group اظهار داشت که استنتاج به میدان اصلی پیادهسازی AI تبدیل شده است. در زنجیره استنتاج، محاسبات تکراری و سنگین پیشینه KV در بافتهای متنی بسیار طولانی موجب کمبود شدید توان پردازشی میشود.
به گفته Xiao Limin، در حال حاضر صنعت دو راهکار اصلی را برای حل این چالش دنبال میکند: راهبرد مدیریت لایهای KV Cache که تمرکز آن بر حل مشکل کمبود ظرفیت است، و راهبرد ادغام حافظه و پردازش که هدف آن رفع بار پردازشی سنگین حافظه نهان است. او گفت: «ما از فناوری تجمیع استخری حافظه برای افزایش ظرفیت گسترده KV Cache و اشتراکگذاری میان چند Instance بهره میگیریم و با تعبیه واحدهای پردازش نزدیک به حافظه، هزینه جابهجایی داده را کاهش میدهیم تا در مجموع تأخیر سرتاسری استنتاج کمتر شده و ظرفیت عملیاتی سیستم تقویت شود.» وی افزود که در آینده میتوان از منظر نرمافزاری نیز کتابخانههای عملگرها را گسترش داد و با مدلهای اصلی بیشتری سازگار کرد تا استنتاج شتاب گیرد و ضریب بهرهوری از توان پردازشی بهبود یابد.
