گروهی از محققان موفق شدند تنها در 26 دقیقه و با هزینهای کمتر از 50 دلار، هوش مصنوعی s1 را برای استدلال منطقی توسعه دهند. محققان ادعا میکنند که مدل s1 در مقایسه با نسخه اولیه مدل o1، در حل مسائل ریاضی تا 27% عملکرد بهتری داشته است.
به گزارش تکراتو به نقل از theverge، این تیم تحقیقاتی از دانشگاههای استنفورد و واشینگتن، برای توسعه مدل خود از تکنیکی به نام استخراج دانش (Distillation) استفاده کردند. این روش به مدلهای کوچکتر اجازه میدهد تا از پاسخهای مدلهای بزرگتر بهره ببرند.
![راهنمای خرید تکراتو](https://techrato.com/wp-content/uploads/2024/04/purchase-guide.gif)
هوش مصنوعی s1 با کمک پاسخهای Gemini بهینهسازی شد
محققان از این طریق، s1 را بر اساس پاسخهای مدل استدلالی گوگل، یعنی Gemini 2.0 Flash Thinking Experimental، بهینهسازی کردند. البته، شرایط استفاده از API گوگل تصریح میکند که کاربران مجاز به استفاده از جمینی برای توسعه مدلهای رقیب نیستند. The Verge برای دریافت توضیحات از گوگل درخواست پاسخ کرده اما هنوز پاسخی دریافت نکرده است.
s1 بر اساس Qwen2.5، مدل منبعباز شرکت Alibaba Cloud، توسعه داده شده است. در ابتدا، محققان از یک مجموعه داده شامل 59 هزار سوال برای آموزش مدل استفاده کردند، اما دریافتند که کاهش این تعداد به 1000 سوال، تاثیر محسوسی در عملکرد مدل ندارد. این مدل تنها با استفاده از 16 کارت گرافیک Nvidia H100 آموزش داده شده است.
یکی از تکنیکهای کلیدی مورد استفاده در مدل s1، مقیاسبندی در زمان تست (Test-time Scaling) است که به مدل اجازه میدهد مدت بیشتری قبل از ارائه پاسخ فکر کند. محققان با اضافه کردن عبارت «منتظر بمان» (Wait) به خروجی مدل، آن را وادار به بررسی مجدد پاسخهایش کردند. طبق مقاله منتشر شده، این روش باعث شده مدل پاسخهای خود را دوباره بررسی کرده و خطاهای منطقی را اصلاح کند.
مدل o1 از OpenAI نیز از روشی مشابه بهره میبرد. اخیرا، استارتاپ دیپ سیک با توسعه مدل R1 تلاش کرده تا این رویکرد را با هزینهای بسیار پایینتر تکرار کند. OpenAI، DeepSeek را متهم کرده که با استخراج اطلاعات از مدلهای این شرکت، یک رقیب برای آن ساخته و در نتیجه، شرایط استفاده از خدمات OpenAI را نقض کرده است.
ظهور مدلهای هوش مصنوعی کوچکتر و ارزانتر، میتواند کل صنعت را متحول کند. اگر این مدلها به اندازهای کارآمد باشند که مدلهای غولپیکری مانند OpenAI، مایکروسافت، متا و گوگل نیازی به هزینههای چند میلیارد دلاری برای آموزش مدلهایشان نداشته باشند، ممکن است مسیر توسعه هوش مصنوعی دستخوش تغییرات اساسی شود.
source