در این مقاله می خوانید

تحلیل جامع Copilot Runtime در ویندوز: ماهیت و سازوکار عملکرد

ساخت یک پلتفرم قدرتمند هوش مصنوعی فقط به یک تراشه یا مدل جدید محدود نمی‌شود، بلکه نیازمند بازطراحی کامل کل سیستم از ابتدا تا انتهاست. Windows Copilot Runtime همان سیستم بازطراحی‌شده است. توسعه‌دهندگان می‌توانند از قابلیت‌های آن به روش‌های مختلف بهره ببرند، از APIهای سطح بالا که تنها با یک تنظیم ساده فعال می‌شوند، تا استفاده از مدل‌های یادگیری ماشینی اختصاصی خودشان. این فناوری نشان‌دهنده اکوسیستم کامل و یکپارچه ویندوز است:

  • برنامه‌ها و تجربه‌ها: ایجادشده توسط مایکروسافت و توسعه‌دهندگانی مانند شما، در محیط شل ویندوز، برنامه‌های Win32 و اپلیکیشن‌های وب.

  • کتابخانه Windows Copilot: مجموعه‌ای از APIها که با بیش از 40 مدل پردازش روی دستگاه عرضه‌شده همراه ویندوز پشتیبانی می‌شود. این شامل APIها و الگوریتم‌هایی است که تجربه‌های ویندوز را ممکن می‌سازند و برای استفاده توسعه‌دهندگان در دسترس هستند.

  • فریم‌ورک‌ها و ابزارهای هوش مصنوعی: مانند DirectML، ONNX Runtime، PyTorch، WebNN و ابزارهایی مثل Olive و AI Toolkit برای Visual Studio Code که به توسعه‌دهندگان کمک می‌کند مدل‌های خود را اجرا کرده و برنامه‌های هوش مصنوعی را در سراسر اکوسیستم سخت‌افزاری ویندوز گسترش دهند.

  • زیرساخت سخت‌افزاری: Windows Copilot Runtime بر پایه پردازنده‌های قدرتمند کلاینت، شامل GPUها و NPUها ساخته شده است.

تجربه‌های جدید ساخته‌شده با استفاده از Windows Copilot Runtime

Windows Copilot Runtime نیروی محرکه ایجاد تمام تجربه‌هایی است که شما یا ما (ویندوز) برای کاربران نهایی می‌سازیم. با استفاده از مجموعه‌ای از APIها و مدل‌های پردازش روی دستگاه در Windows Copilot Library، ما تجربه‌های بومی و قدرتمندی را ایجاد کرده‌ایم، مانند:

  • Recall: قابلیتی که به کاربران کمک می‌کند تقریباً هر چیزی را که قبلاً روی رایانه خود دیده‌اند فوراً پیدا کنند.

  • Cocreator: یک ابزار تولید تصویر هوش مصنوعی مشارکتی که ایده‌های کاربران را با استفاده از زبان طبیعی و طراحی با قلم، مستقیماً روی دستگاه به تصویر می‌کشد.

  • Restyle Image: قابلیتی که با ترکیب تولید تصویر و ویرایش عکس در اپلیکیشن Photos، به کاربران امکان می‌دهد عکس‌های شخصی خود را با سبک‌های جدید بازآفرینی کنند.

  • سایر قابلیت‌ها مانند Windows Studio Effects و زیرنویس زنده (Live captions) که امکان ترجمه همزمان ویدیو و صدا را از بیش از 40 زبان به زیرنویس انگلیسی فراهم می‌کنند.

همچنین ما با توسعه‌دهندگان اپلیکیشن‌های شخص ثالث مانند Davinci Resolve، CapCut، WhatsApp، Camo Studio، djay Pro، Cephable، LiquidText، Luminar Neo و بسیاری دیگر همکاری می‌کنیم تا از توان پردازش NPU برای ارائه تجربه‌های نوآورانه هوش مصنوعی با تأخیر کمتر، سرعت بالاتر، حریم خصوصی بهتر و کاهش هزینه‌های پردازش ابری بهره ببرند. ما مشتاقیم که توسعه‌دهندگان با استفاده از NPU و Windows Copilot Runtime، تجربه‌های نوینی خلق کنند.

Windows Copilot Library مجموعه‌ای از APIها برای شتاب‌دهی به توسعه هوش مصنوعی محلی

Windows Copilot Library شامل مجموعه‌ای از APIها است که توسط بیش از 40 مدل پردازش هوش مصنوعی روی دستگاه و الگوریتم‌های پیشرفته‌ای مانند DiskANN در ویندوز پشتیبانی می‌شوند. این کتابخانه شامل APIهای آماده مانند Studio Effects، ترجمه زیرنویس زنده، OCR، Recall با API فعالیت کاربر (User Activity) و Phi Silica است که از ماه ژوئن برای توسعه‌دهندگان در دسترس قرار می‌گیرند. APIهایی مانند Vector Embeddings، بازیابی تقویت‌شده با تولید (RAG) و خلاصه‌سازی متن نیز در آینده به این کتابخانه اضافه خواهند شد و توسعه‌دهندگان می‌توانند از طریق نسخه جدید Windows App SDK به آن‌ها دسترسی پیدا کنند.

توسعه‌دهندگان می‌توانند بدون نیاز به کدنویسی، قابلیت‌های Studio Effects مانند فیلترهای خلاقانه، نور پرتره، تله‌پرامپتر تماس چشمی، محو کردن پس‌زمینه پرتره و تمرکز روی صدا را به برنامه‌های خود اضافه کنند. برای مثال، واتساپ تجربه کاربری خود را با اضافه کردن کنترل‌های Windows Studio Effects به رابط کاربری ارتقا داده است.

به همین ترتیب و بدون نیاز به کدنویسی، توسعه‌دهندگان می‌توانند از قابلیت Live captions برای افزودن زیرنویس زنده و ترجمه همزمان صدا و ویدیو به زبان دلخواه در برنامه‌های خود استفاده کنند.

همچنین توسعه‌دهندگان می‌توانند از قابلیت جدید Recall در رایانه‌های Copilot+ PC بهره ببرند. با افزودن اطلاعات زمینه‌ای به پایگاه داده برداری Recall از طریق API فعالیت کاربر، می‌توان تجربه Recall را در برنامه بهبود داد. این کار به کاربران کمک می‌کند تا دقیقاً از همان جایی که کار را متوقف کرده‌اند ادامه دهند و تجربه‌ای یکپارچه بین ویندوز و برنامه ایجاد کنند. اپلیکیشن‌هایی مانند Edge و برنامه‌های Microsoft 365 (از جمله Outlook، PowerPoint و Teams) این قابلیت را پیاده‌سازی کرده‌اند. حتی برنامه شخص ثالث Concepts نمونه‌ای اولیه است که اگر از طریق Recall باز شود، کاربر را دقیقاً به همان بخش بوم نقاشی، در سند درست و با همان میزان بزرگ‌نمایی موجود در تایم‌لاین Recall منتقل می‌کند.

معرفی Windows Semantic Index که جستجو در ویندوز را متحول می‌کند – API جدید Vector Embeddings این امکان را به توسعه‌دهندگان می‌دهد تا با استفاده از داده‌های برنامه خود، فروشگاه برداری (Vector Store) اختصاصی بسازند.

پایگاه داده Recall توسط Windows Semantic Index پشتیبانی می‌شود، قابلیتی جدید در سیستم‌عامل که تعریف تازه‌ای از جستجو در ویندوز ارائه می‌دهد. Recall بر پایه چندین مدل پیشرفته هوش مصنوعی، از جمله مدل‌های کوچک چندوجهی (Multi-modal SLMs)، به صورت همزمان و درون سیستم‌عامل اجرا می‌شود. این مدل‌ها انواع مختلف محتوا را درک می‌کنند و در چندین زبان کار می‌کنند تا حجم عظیمی از داده‌ها – از متن گرفته تا تصویر و ویدیو – را در ویندوز سازمان‌دهی کنند. این داده‌ها به یک Vector Store به نام Windows Semantic Index تبدیل و ذخیره می‌شوند. این شاخص معنایی به طور کامل روی دستگاه محلی کاربر ذخیره شده و از طریق جستجوی زبان طبیعی قابل دسترسی است. این یکپارچگی عمیق، رویکردی بسیار قدرتمند برای حفظ حریم خصوصی ایجاد می‌کند، زیرا داده‌ها هرگز از دستگاه کاربر خارج نمی‌شوند.

برای کمک به توسعه‌دهندگان جهت افزودن همین قابلیت جستجوی زبان طبیعی به برنامه‌های خود، مایکروسافت Vector Embeddings API و RAG API را به زودی در Windows Copilot Library ارائه خواهد کرد. این قابلیت به توسعه‌دهندگان اجازه می‌دهد تا فروشگاه شاخص معنایی اختصاصی خود را با داده‌های برنامه‌شان بسازند و با ترکیب آن با Retrieval Augmented Generation (RAG)، امکان جستجوی زبان طبیعی را به برنامه‌های خود بیاورند. این نمونه‌ای عالی از چگونگی ساخت ویژگی‌های جدید با استفاده از مدل‌ها و APIهای Windows Copilot Runtime است که همان قابلیت‌ها را در اختیار توسعه‌دهندگان قرار می‌دهد.

APIهای موجود در Windows Copilot Library طیفی کامل از APIهای Low-code تا پایپ‌لاین‌های پیچیده و مدل‌های کاملاً چندوجهی را پوشش می‌دهند.

ویندوز اولین پلتفرمی است که یک مدل زبانی کوچک پیشرفته (SLM) را به‌صورت پیش‌فرض ارائه می‌دهد و Phi Silica به طور اختصاصی برای NPUهای موجود در رایانه‌های Copilot+ PC طراحی شده است.

مایکروسافت اخیراً Phi-3 را معرفی کرده است، قدرتمندترین و مقرون‌به‌صرفه‌ترین SLM موجود. نسخه Phi-3-mini حتی در معیارهای کلیدی از مدل‌هایی با دو برابر اندازه خود بهتر عمل می‌کند. امروز مایکروسافت Phi Silica را معرفی می‌کند که بر اساس خانواده مدل‌های Phi ساخته شده است. Phi Silica یک SLM پیشرفته (SOTA) است که به طور پیش‌فرض در سیستم وجود دارد و به‌طور اختصاصی برای NPUهای رایانه‌های Copilot+ طراحی شده است. با انتقال کامل پردازش پرسش (Prompt Processing) به NPU، زمان تولید اولین توکن به ۶۵۰ توکن بر ثانیه می‌رسد و تنها حدود ۱.۵ وات توان مصرف می‌کند، در حالی که CPU و GPU را برای سایر پردازش‌ها آزاد می‌گذارد. تولید توکن با استفاده مجدد از KV Cache موجود در NPU انجام می‌شود و سپس روی CPU اجرا می‌شود که خروجی آن حدود ۲۷ توکن بر ثانیه است.

این‌ها تنها چند نمونه از APIهایی هستند که در Windows Copilot Library در اختیار توسعه‌دهندگان قرار دارند. با اضافه شدن مدل‌ها و کتابخانه‌های جدید به ویندوز، این قابلیت‌ها بیش از پیش گسترش پیدا خواهند کرد. هدف مایکروسافت این است که توسعه‌دهندگان بتوانند به‌سادگی ویژگی‌های قدرتمند هوش مصنوعی را به برنامه‌های خود اضافه کنند و Windows Copilot Library بهترین نقطه برای شروع این کار است.

مایکروسافت همواره اطمینان حاصل می‌کند که تجربه‌های هوش مصنوعی در ویندوز ایمن، عادلانه و قابل اعتماد باشند و از اصول هوش مصنوعی مسئولانه (Microsoft Responsible AI) پیروی کنند. زمانی که توسعه‌دهندگان برنامه‌های خود را با استفاده از Windows Copilot Library گسترش می‌دهند، به‌صورت خودکار این چارچوب‌های حفاظتی را به ارث می‌برند.

پشتیبانی از مدل‌های سفارشی توسعه‌دهندگان با DirectML

در حالی که مدل‌های داخلی ویندوز ۱۱ طیف گسترده‌ای از تجربه‌های هوش مصنوعی را فراهم می‌کنند، بسیاری از توسعه‌دهندگان مایلند مدل‌های اختصاصی خود را برای اجرای برنامه‌هایشان به ویندوز بیاورند. ویندوز به‌عنوان یک پلتفرم باز، از اکوسیستم متنوع سخت‌افزاری پشتیبانی می‌کند و با استفاده از DirectML فرایند بهینه‌سازی مدل‌ها روی انواع تراشه‌ها را ساده کرده است. همان‌طور که DirectX برای گرافیک استفاده می‌شود، DirectML یک API سطح پایین و پرسرعت برای یادگیری ماشینی در ویندوز است.

DirectML امکان استفاده از انواع سخت‌افزارهایی را که شرکای IHV به اکوسیستم ویندوز می‌آورند فراهم می‌کند و از GPUها و NPUها پشتیبانی می‌کند (پشتیبانی از CPU نیز به‌زودی اضافه می‌شود). همچنین با فریم‌ورک‌های مهمی مانند ONNX Runtime، PyTorch و WebNN یکپارچه است.

پشتیبانی بومی PyTorch در ویندوز با DirectML

مایکروسافت می‌داند که بسیاری از توسعه‌دهندگان کارهای خود را در PyTorch بر روی ویندوز انجام می‌دهند، به همین دلیل اکنون پشتیبانی بومی PyTorch از طریق DirectML در ویندوز فراهم شده است. این پشتیبانی به این معنی است که هزاران مدل موجود در Hugging Face بدون مشکل روی ویندوز کار خواهند کرد. علاوه بر این، مایکروسافت با Nvidia همکاری می‌کند تا این فرایند توسعه را به بیش از ۱۰۰ میلیون GPU RTX AI گسترش دهد.

ما می‌دانیم که بسیاری از توسعه‌دهندگان امروزه کار خود را با وب‌اپلیکیشن‌ها آغاز می‌کنند. این برنامه‌ها نیز باید بتوانند از توان سخت‌افزار محلی دستگاه‌ها برای ارائه تجربه‌های هوش مصنوعی به کاربران استفاده کنند.

پشتیبانی DirectML از وب‌اپلیکیشن‌ها با WebNN

اکنون DirectML از وب‌اپلیکیشن‌هایی پشتیبانی می‌کند که می‌توانند از سخت‌افزار محلی برای ارائه تجربه‌های هوش مصنوعی مبتنی بر WebNN استفاده کنند. از اپلیکیشن‌های بومی تا وب، DirectML با WebNN Developer Preview جدید، مقیاس هوش مصنوعی محلی را به وب در ویندوز می‌آورد. WebNN یک استاندارد نوظهور وب برای یادگیری ماشینی است که توسط DirectML و ONNX Runtime Web پشتیبانی می‌شود و فرآیند بهره‌گیری توسعه‌دهندگان از سخت‌افزار موجود در دستگاه کاربر را برای ارائه تجربه‌های هوش مصنوعی با کارایی نزدیک به اپلیکیشن‌های بومی ساده می‌کند. این قابلیت می‌تواند برای وظایفی مانند هوش مصنوعی مولد، پردازش تصویر، پردازش زبان طبیعی، بینایی کامپیوتر و موارد دیگر استفاده شود. در حال حاضر WebNN Developer Preview از GPU پشتیبانی می‌کند و پشتیبانی از NPU نیز به‌زودی اضافه خواهد شد.

پردازش هوش مصنوعی با کارایی بالا در ویندوز با ONNX Runtime و DirectML

ONNX Runtime که بر پایه همکاری جامعه متن‌باز ساخته شده، به توسعه‌دهندگان این امکان را می‌دهد تا مدل‌های هوش مصنوعی خود را با عملکرد بالا و پشتیبانی چندسکویی، به مرحله تولید برسانند. ONNX Runtime همراه با DirectML، بهینه‌سازی‌های پیشرفته‌ای را برای دستیابی به بهترین عملکرد در مدل‌های هوش مصنوعی مولد مانند Phi، Llama، Mistral و Stable Diffusion اعمال می‌کند.

با ONNX Runtime، توسعه‌دهندگان می‌توانند برنامه‌های ویندوزی خود را به پلتفرم‌های دیگر مانند وب، ابر یا موبایل نیز گسترش دهند. حتی برنامه‌های مایکروسافت مانند Office، Visual Studio Code و خود Windows نیز از ONNX Runtime برای اجرای هوش مصنوعی روی دستگاه استفاده می‌کنند.

DirectML برای همه سناریوهای توسعه در ویندوز

DirectML به شما کمک می‌کند نوآوری‌های خود را در سراسر اکوسیستم ویندوز مقیاس دهید، چه در حال ساخت مدل اختصاصی باشید، چه بخواهید از یک مدل متن‌باز مانند Hugging Face استفاده کنید، و چه یک اپلیکیشن بومی ویندوز یا یک وب‌اپلیکیشن بسازید. DirectML به‌صورت عمومی برای تمام GPUهای ویندوز در دسترس است.

پشتیبانی DirectML از پردازنده‌های Intel® Core™ Ultra با Intel® AI Boost اکنون در نسخه Developer Preview موجود است و نسخه GA به‌زودی عرضه می‌شود. پشتیبانی از Qualcomm® Hexagon™ NPU در تراشه Snapdragon X Elite SoC نیز به‌زودی ارائه خواهد شد.

توسعه هوش مصنوعی با Windows Subsystem for Linux (WSL)

WSL بستری قدرتمند برای توسعه هوش مصنوعی در ویندوز فراهم می‌کند و امکان اجرای همزمان بارهای کاری ویندوز و لینوکس را ساده می‌سازد. توسعه‌دهندگان می‌توانند به‌راحتی فایل‌ها، برنامه‌های گرافیکی، GPU و موارد دیگر را بین این دو محیط بدون تنظیمات اضافی به اشتراک بگذارند.

اکنون WSL ارتقا یافته تا نیازهای امنیتی سطح سازمانی را برآورده کند و مشتریان سازمانی بتوانند با اطمینان آن را برای توسعه‌دهندگان خود به کار گیرند.

WSL اکنون شامل دو ویژگی Zero Trust جدید است:

  • عامل لینوکسی Intune برای ارزیابی انطباق بر اساس نسخه‌های توزیع WSL و سایر معیارها با استفاده از اسکریپت‌های سفارشی.

  • یکپارچگی با Microsoft Entra ID برای ایجاد تجربه Zero Trust در دسترسی به منابع سازمانی محافظت‌شده از درون WSL، با ایجاد یک کانال امن برای دریافت و استفاده از توکن‌های مرتبط با دستگاه میزبان.

عامل Intune برای لینوکس هم‌اکنون در نسخه Public Preview موجود است و یکپارچگی Entra ID در تابستان امسال به نسخه Public Preview خواهد رسید.

قابلیت‌های جدید برای افزایش بهره‌وری توسعه‌دهندگان در ویندوز ۱۱

مایکروسافت می‌داند که ساخت تجربه‌های عالی هوش مصنوعی با بهره‌وری توسعه‌دهنده آغاز می‌شود. به همین دلیل ویژگی‌های جدیدی در Dev Home، بهبود عملکرد Dev Drive و قابلیت‌های جدید در ابزار PowerToys معرفی کرده است.

از زمان معرفی Dev Home در رویداد Build سال گذشته، این ابزار به یک مرکز کامل برای آماده‌سازی ویندوز برای توسعه تبدیل شده است. اکنون Dev Home به‌صورت پیش‌فرض روی هر دستگاه ویندوزی نصب شده و استفاده از آن آسان‌تر از همیشه است.

Environments در Dev Home

این ویژگی تعاملات شما با همه محیط‌های توسعه از راه دور را متمرکز می‌کند. می‌توانید محیط‌های جدیدی بسازید، مخازن، برنامه‌ها و بسته‌ها را نصب کنید و عملیات سریعی مانند گرفتن اسنپ‌شات، روشن و خاموش کردن محیط و حتی پین کردن آن‌ها به Start Menu و Taskbar انجام دهید. این ویژگی اکنون در نسخه Preview ارائه شده و کاملاً منبع‌باز و قابل توسعه است.

Windows Customization در Dev Home

این قابلیت به توسعه‌دهندگان امکان می‌دهد دستگاه خود را تنها با چند کلیک به حالت ایدئال برای کدنویسی برسانند. Windows Customization دسترسی به بینش‌های Dev Drive، تنظیمات پیشرفته File Explorer، مدیریت ماشین مجازی و کاهش پردازش‌های پس‌زمینه را فراهم می‌کند تا کنترل کامل‌تری بر محیط توسعه داشته باشند.

سوال متداول

۱. Copilot Runtime در ویندوز چیست؟
Copilot Runtime یک بستر هوش مصنوعی داخلی در ویندوز 11 است که شامل مجموعه‌ای از مدل‌های AI، کتابخانه‌ها و APIها می‌شود و به اپلیکیشن‌ها اجازه می‌دهد از قابلیت‌های هوش مصنوعی به‌صورت بومی و بدون نیاز به پردازش ابری استفاده کنند.

۲. Copilot Runtime در چه نسخه‌هایی از ویندوز در دسترس است؟
این قابلیت از نسخه‌ی Windows 11 24H2 و در دستگاه‌های Copilot+ PC در دسترس قرار گرفته و به‌مرور برای مدل‌های جدیدتر گسترش می‌یابد.

۳. آیا برای استفاده از Copilot Runtime نیاز به اتصال اینترنت است؟
خیر. بسیاری از قابلیت‌ها مانند OCR، پردازش تصویر و اجرای مدل‌های سبک‌وزن AI به‌صورت آفلاین و روی سخت‌افزار محلی (GPU یا NPU) اجرا می‌شوند، مگر آنکه اپلیکیشن نیاز به داده‌های آنلاین داشته باشد.

۴. چه تفاوتی بین Copilot Runtime و Windows Copilot وجود دارد؟
Windows Copilot یک دستیار کاربری است که از طریق رابط چت به شما کمک می‌کند، اما Copilot Runtime یک زیرساخت نرم‌افزاری است که توسعه‌دهندگان می‌توانند از آن برای ایجاد اپلیکیشن‌های هوشمند استفاده کنند.

۵. توسعه‌دهندگان چگونه می‌توانند از Copilot Runtime استفاده کنند؟
مایکروسافت APIها و ابزارهایی مانند Windows Copilot Library، DirectML، ONNX Runtime و AI Toolkit برای Visual Studio Code را ارائه کرده است تا توسعه‌دهندگان بتوانند مدل‌های خود را اجرا، بهینه و در اپلیکیشن‌ها ادغام کنند.

۶. آیا Copilot Runtime بر عملکرد سیستم تأثیر می‌گذارد؟
خیر، این سیستم بهینه‌سازی شده تا از شتاب‌دهنده‌های سخت‌افزاری مانند NPU استفاده کند و بار پردازشی کمتری به CPU تحمیل شود، در نتیجه عملکرد کلی سیستم حفظ می‌شود.

Copilot Runtime چیست و چه کاربردی دارد؟**
ویندوز Copilot Runtime یک سیستم نرم‌افزاری پیشرفته در ویندوز 11 نسخه 24H2 و بالاتر است که فناوری هوش مصنوعی را به‌طور کامل در ساختار سیستم‌عامل ادغام می‌کند. این سیستم به توسعه‌دهندگان اجازه می‌دهد تا از طریق مجموعه‌ای از APIها و مدل‌های AI تعبیه‌شده در دستگاه، قابلیت‌های پیشرفته‌ای را به اپلیکیشن‌های خود اضافه کنند. این مدل‌ها شامل بیش از ۴۰ مدل سبک‌وزن هستند که برای اجرا بر روی سخت‌افزارهای محلی مانند GPU و NPU بهینه شده‌اند

قابلیت‌ها و امکانات توسعه‌دهندگان**
در هسته‌ی این معماری، Windows Copilot Library قرار دارد که APIهایی مثل Studio Effects، Recall، Phi Silica و همچنین امکاناتی مانند OCR، Restyle Image و Auto Super Resolution را فراهم می‌سازد. علاوه بر این، فریم‌ورک‌هایی مانند DirectML، ONNX Runtime و PyTorch و ابزارهایی مانند AI Toolkit برای Visual Studio Code، کمک می‌کنند تا توسعه‌دهندگان بتوانند مدل‌های AI مخصوص خود را اجرا یا بهبود دهند