قوانین فعلی مقیاس‌بندی هوش مصنوعی بازدهی رو به کاهشی را نشان می‌دهد و آزمایشگاه‌های هوش مصنوعی را مجبور می‌کند مسیر خود را تغییر دهند.

آزمایشگاه‌های هوش مصنوعی که مسیر سیستم‌های فوق‌هوشمند را طی می‌کنند، متوجه شده‌اند که ممکن است مجبور به انحراف شوند.

به گفته چندین سرمایه گذار، بنیانگذار و مدیر عامل هوش مصنوعی که با TechCrunch صحبت کرده اند، “قوانین مقیاس بندی هوش مصنوعی”، روش ها و انتظاراتی که آزمایشگاه ها برای افزایش قابلیت های مدل های خود در پنج سال گذشته استفاده کرده اند، اکنون نشانه هایی از کاهش بازده را نشان می دهد. احساسات آنها منعکس کننده گزارش های اخیر است که نشان می دهد مدل های داخل آزمایشگاه های پیشرو هوش مصنوعی کندتر از گذشته بهبود می یابند.

اکنون به نظر می‌رسد همه اذعان دارند که نمی‌توانید از محاسبات بیشتر و داده‌های بیشتر در حین پیش‌آموزش مدل‌های زبانی بزرگ استفاده کنید و انتظار داشته باشید که آنها به نوعی خدای دیجیتالی دانا تبدیل شوند. شاید واضح به نظر برسد، اما این قوانین مقیاس‌بندی عاملی کلیدی در توسعه ChatGPT، بهبود آن و احتمالاً تأثیرگذاری بر بسیاری از مدیران عامل برای پیش‌بینی‌های جسورانه در مورد ورود AGI در چند سال آینده بود.

Ilya Sutskever، بنیانگذار OpenAI و Safe Super Intelligence، هفته گذشته به رویترز گفت که «همه به دنبال چیز بعدی هستند» تا مدل‌های هوش مصنوعی خود را تغییر دهند. اوایل این ماه، مارک آندرسن، یکی از بنیانگذاران a16z، در پادکستی گفت که به نظر می‌رسد مدل‌های هوش مصنوعی در حال حاضر در یک سقف توانایی‌ها همگرا هستند.

اما اکنون، تقریباً بلافاصله پس از ظهور این روندهای نگران کننده، مدیران عامل، محققان و سرمایه گذاران هوش مصنوعی در حال حاضر اعلام کرده اند که ما در دوره جدیدی از قوانین مقیاس بندی هستیم. «محاسبات زمان آزمایش»، که به مدل‌های هوش مصنوعی زمان بیشتری می‌دهد و قبل از پاسخ دادن به سؤال، «فکر» می‌کنند، به‌ویژه رقیب امیدوارکننده‌ای برای تبدیل شدن به چیز بزرگ بعدی است.

ساتیا نادلا، مدیرعامل مایکروسافت روز سه‌شنبه در مایکروسافت Ignite با اشاره به تحقیقات محاسباتی آزمایشی مبتنی بر مدل o1 OpenAI گفت: «ما شاهد ظهور یک قانون مقیاس‌بندی جدید هستیم.

او تنها کسی نیست که اکنون به o1 به عنوان آینده اشاره می کند.

آنجنی میدا، شریک آندرسن هوروویتز، که عضو هیئت مدیره Mistral و سرمایه‌گذار فرشته در Anthropic بود، در مصاحبه اخیر با TechCrunch گفت: «ما اکنون در دومین دوره قوانین مقیاس‌بندی هستیم، که مقیاس‌بندی زمان آزمایش است. .

اگر موفقیت غیرمنتظره – و اکنون، کند شدن ناگهانی – قوانین قبلی مقیاس‌بندی هوش مصنوعی چیزی را به ما می‌گوید، پیش‌بینی چگونگی و زمان بهبود مدل‌های هوش مصنوعی بسیار سخت است.

صرف نظر از این، به نظر می رسد یک تغییر پارادایم در حال انجام است: روش هایی که آزمایشگاه های هوش مصنوعی سعی می کنند مدل های خود را برای پنج سال آینده پیشرفت دهند، احتمالاً شبیه پنج سال گذشته نخواهد بود.

قوانین مقیاس‌بندی هوش مصنوعی چیست؟
بهبودهای سریع مدل هوش مصنوعی که OpenAI، Google، Meta و Anthropic از سال 2020 به دست آورده‌اند را می‌توان تا حد زیادی به یک بینش کلیدی نسبت داد: استفاده از محاسبات بیشتر و داده‌های بیشتر در طول مرحله پیش‌آموزشی مدل هوش مصنوعی.

هنگامی که محققان در این مرحله به سیستم‌های یادگیری ماشینی منابع فراوانی می‌دهند – که در آن هوش مصنوعی الگوها را در مجموعه‌های داده بزرگ شناسایی و ذخیره می‌کند – مدل‌ها در پیش‌بینی کلمه یا عبارت بعدی بهتر عمل می‌کنند.

این اولین نسل از قوانین مقیاس‌بندی هوش مصنوعی مجموعه‌ای از کارهایی را که رایانه‌ها می‌توانستند انجام دهند تحت فشار قرار دادند، زیرا مهندسان تعداد GPUهای مورد استفاده و مقدار داده‌هایی را که به آنها داده می‌شد افزایش دادند. حتی اگر این روش خاص مسیر خود را اجرا کرده باشد، قبلاً نقشه را دوباره ترسیم کرده است. همه شرکت‌های فناوری بزرگ اساساً هوش مصنوعی را به کار گرفته‌اند، در حالی که انویدیا، که پردازنده‌های گرافیکی را برای همه این شرکت‌ها آموزش می‌دهند، اکنون با ارزش‌ترین شرکت سهامی عام در جهان است.

اما این سرمایه‌گذاری‌ها نیز با این انتظار انجام شد که مقیاس‌پذیری طبق انتظار ادامه یابد.

توجه به این نکته مهم است که قوانین مقیاس بندی قوانین طبیعت، فیزیک، ریاضی یا دولت نیستند. هیچ چیز یا کسی تضمین نمی کند که با همان سرعت ادامه دهند. حتی قانون مور، یکی دیگر از قوانین معروف مقیاس‌بندی، در نهایت از بین رفت – اگرچه مطمئناً مدت طولانی‌تری داشت.

رابرت نیشیهارا، یکی از بنیانگذاران و مدیرعامل سابق Anyscale در مصاحبه ای با TechCrunch گفت: “اگر فقط محاسبات بیشتری وارد کنید، داده های بیشتری وارد کنید، مدل را بزرگتر می کنید – بازدهی کاهشی وجود دارد.” برای حفظ قوانین مقیاس‌بندی، برای حفظ نرخ پیشرفت، به ایده‌های جدید نیز نیاز داریم.»

Nishihara کاملاً با قوانین مقیاس بندی هوش مصنوعی آشنا است. Anyscale با توسعه نرم‌افزاری که به OpenAI و دیگر توسعه‌دهندگان مدل هوش مصنوعی کمک می‌کند تا حجم کار آموزشی هوش مصنوعی خود را به ده‌ها هزار GPU افزایش دهند، به ارزش میلیارد دلاری رسید. Anyscale یکی از بزرگ‌ترین ذینفع‌ها از پیش‌آموزش قوانین مقیاس‌بندی در مورد محاسبات بوده است، اما حتی بنیانگذار آن نیز تشخیص می‌دهد که فصل در حال تغییر است.

Nishihara با اشاره به محدودیت‌های مقیاس‌بندی داده‌ها گفت: «وقتی میلیون‌ها نقد را در Yelp خوانده‌اید، شاید بررسی‌های بعدی در Yelp آنقدر به شما ندهند. “اما این یک پیش تمرین است. من می‌توانم بگویم روش‌شناسی پیرامون پس از تمرین کاملاً ناپخته است و جای زیادی برای بهبود دارد.»

برای روشن بودن، توسعه‌دهندگان مدل هوش مصنوعی احتمالاً به دنبال خوشه‌های محاسباتی بزرگ‌تر و مجموعه‌های داده بزرگ‌تر برای پیش‌آموزش خواهند بود، و احتمالاً پیشرفت‌های بیشتری برای خروج از این روش‌ها وجود دارد. ایلان ماسک اخیرا ساخت یک ابر رایانه با 100000 پردازنده گرافیکی به نام Colossus را به پایان رساند.

مدل های بعدی xAI را آموزش دهید. خوشه های بیشتر و بزرگتری در آینده وجود خواهند داشت.

اما روندها نشان می‌دهند که رشد نمایی صرفاً با استفاده از پردازنده‌های گرافیکی بیشتر با استراتژی‌های موجود امکان‌پذیر نیست، بنابراین روش‌های جدید ناگهان توجه بیشتری را به خود جلب می‌کنند.

منبع: techcrunch