آموزش YOLO26 و ویژن ایجنت‌های هوش مصنوعی با GenAI

هوش مصنوعی مولد و بینایی ماشین در حال تغییر شیوه توسعه اپلیکیشن‌های هوشمند هستند. با ترکیب مدل‌های تشخیص تصویر مانند YOLO26 و مدل‌های زبانی بزرگ (LLM)، می‌توان سیستم‌هایی ساخت که علاوه بر تحلیل تصاویر، ابزارهای مختلف را انتخاب کنند، اطلاعات موردنیاز را استخراج کنند و بر اساس داده‌های واقعی به پرسش‌ها پاسخ دهند.

در دوره YOLO26 و ویژن ایجنت‌های هوش مصنوعی یاد می‌گیرید چگونه مدل‌های بینایی ماشین را با قابلیت‌های هوش مصنوعی مولد و ایجنت‌های هوشمند ترکیب کنید. این آموزش از مباحث تشخیص اشیا، قطعه‌بندی تصویر و تخمین وضعیت بدن شروع می‌شود و به ساخت ویژن ایجنت‌هایی برای پردازش اسناد، تحلیل فاکتورها، بررسی اطلاعات تغذیه‌ای و تحلیل ترافیک می‌رسد.

در طول دوره، با ابزارهایی مانند YOLO26، Gemini، Python، OpenCV، Roboflow و Streamlit آشنا می‌شوید و نحوه استفاده از آن‌ها را در پروژه‌های عملی بررسی می‌کنید. هدف این است که بتوانید از مدل‌های بینایی ماشین در ساخت اپلیکیشن‌هایی استفاده کنید که فراتر از تشخیص ساده اشیا عمل می‌کنند.

دوره آموزش YOLO26 در قالب 11 جلسه 6 ساعت ارائه شده است و شامل دسترسی دائمی است.

معرفی دوره YOLO26 و ویژن ایجنت‌های هوش مصنوعی

این دوره بر ساخت اپلیکیشن‌های کاربردی مبتنی بر بینایی ماشین، هوش مصنوعی مولد و ایجنت‌های هوشمند تمرکز دارد. بخش نخست به مدل‌های خانواده YOLO و وظایف مختلف بینایی ماشین اختصاص دارد؛ سپس نحوه آماده‌سازی داده‌ها، آموزش مدل‌های سفارشی و استفاده از خروجی مدل‌ها در پروژه‌های واقعی بررسی می‌شود.

در ادامه، یاد می‌گیرید چگونه یک مدل بینایی ماشین را به ابزار قابل استفاده برای یک ایجنت هوش مصنوعی تبدیل کنید. با کمک قابلیت Function Calling در Gemini، ایجنت می‌تواند بر اساس درخواست کاربر تصمیم بگیرد که از کدام ابزار استفاده کند؛ برای مثال، ابتدا اشیا را در تصویر تشخیص دهد، سپس بخش‌های مشخصی از تصویر را قطعه‌بندی کند یا با استفاده از OCR اطلاعات متنی را استخراج کند.

یکی از بخش‌های مهم دوره، پیاده‌سازی پروژه‌های واقعی است. از تشخیص چاله‌های خیابان و تحلیل شدت ترافیک گرفته تا پردازش اسناد و فاکتورها و جست‌وجوی اطلاعات تغذیه‌ای، پروژه‌ها نشان می‌دهند چگونه می‌توان مدل‌های بینایی ماشین را در یک جریان کاری هوشمند به کار گرفت.

در این دوره چه مهارت‌هایی یاد می‌گیرید؟

• شناخت کاربردهای YOLOv8، YOLO11 و YOLO26 در پروژه‌های بینایی ماشین
• اجرای وظایف تشخیص شیء (Object Detection)، قطعه‌بندی تصویر (Segmentation)، تخمین وضعیت (Pose Estimation)، طبقه‌بندی (Classification) و تشخیص جعبه‌های جهت‌دار (OBB)
• آماده‌سازی و برچسب‌گذاری دیتاست‌های سفارشی با استفاده از Roboflow
• آموزش مدل YOLO26 روی داده‌های اختصاصی، از جمله دیتاست تشخیص چاله‌های خیابان
• ساخت هیت‌مپ شدت ترافیک خودرو با استفاده از نتایج تشخیص اشیا
• پیاده‌سازی سیستم تبدیل نمای پرنده (Bird’s-Eye View یا BEV) با YOLO26 و OpenCV
• ساخت ویژن ایجنت‌های ساده با ترکیب مدل زبانی بزرگ و YOLO
• شمارش اشیا و ارائه نتایج در یک رابط کاربردی با Streamlit
• توسعه ایجنت‌های هوشمند با Gemini و قابلیت Function Calling
• ترکیب ابزارهای تشخیص شیء، قطعه‌بندی و OCR در یک ایجنت چندابزاری
• ساخت ایجنت برای استخراج و تحلیل اطلاعات اسناد و فاکتورها
• توسعه ایجنت غذا و تغذیه با ترکیب تحلیل تصویر و داده‌های تغذیه‌ای واقعی
• طراحی جریان کاری‌ای که پاسخ‌های تولیدشده را با داده‌های واقعی بررسی و اعتبارسنجی می‌کند

سرفصل‌های دوره YOLO26 و ویژن ایجنت‌های هوش مصنوعی

۱. آشنایی با YOLOv8، YOLO11 و YOLO26

در بخش ابتدایی، با خانواده مدل‌های YOLO و کاربرد آن‌ها در وظایف مختلف بینایی ماشین آشنا می‌شوید. این بخش به شما کمک می‌کند تفاوت میان تشخیص اشیا، قطعه‌بندی، تخمین وضعیت، طبقه‌بندی و تشخیص اشیای جهت‌دار را درک کنید.

موضوعات این بخش:

• معرفی YOLOv8، YOLO11 و YOLO26
• تشخیص اشیا در تصاویر
• قطعه‌بندی تصویر و استخراج نواحی موردنظر
• تخمین وضعیت و شناسایی نقاط کلیدی
• طبقه‌بندی تصاویر و اشیا
• آشنایی با Oriented Bounding Boxes یا OBB

۲. ساخت دیتاست سفارشی و آموزش مدل YOLO26

برای استفاده از مدل‌های تشخیص شیء در مسائل اختصاصی، گاهی لازم است دیتاست متناسب با نیاز پروژه تهیه شود. در این بخش، فرایند آماده‌سازی داده و آموزش مدل سفارشی بررسی می‌شود.

موضوعات این بخش:

• آشنایی با برچسب‌گذاری و حاشیه‌نویسی تصاویر
• آماده‌سازی دیتاست سفارشی با Roboflow
• تنظیم داده‌ها برای آموزش مدل تشخیص شیء
• آموزش YOLO26 روی دیتاست تشخیص چاله‌های خیابان
• بررسی کاربرد مدل آموزش‌دیده در یک مسئله واقعی

۳. تشخیص خودرو و تحلیل شدت ترافیک

مدل‌های بینایی ماشین می‌توانند برای تحلیل جریان ترافیک و استخراج اطلاعات از تصاویر و ویدئوها استفاده شوند. در این بخش، از نتایج تشخیص خودرو برای ساخت هیت‌مپ شدت ترافیک استفاده می‌شود.

موضوعات این بخش:

• تشخیص خودرو با YOLO26
• جمع‌آوری و تحلیل نتایج تشخیص خودرو
• نمایش نواحی پرتردد با هیت‌مپ
• استفاده از خروجی مدل برای تحلیل بصری ترافیک

۴. تبدیل نمای پرنده (BEV) با YOLO26 و OpenCV

نمای پرنده یا Bird’s-Eye View روشی برای نمایش صحنه از دیدی شبیه نمای عمودی از بالا است. این تکنیک می‌تواند در تحلیل ترافیک و بررسی موقعیت وسایل نقلیه کاربرد داشته باشد.

در این بخش با ساخت یک سیستم بلادرنگ مبتنی بر YOLO26 و OpenCV آشنا می‌شوید و یاد می‌گیرید چگونه خروجی تشخیص اشیا را در یک نمای تبدیل‌شده نمایش دهید.

موضوعات این بخش:

• مفهوم Bird’s-Eye View یا BEV
• استفاده از خروجی YOLO26 در تحلیل صحنه
• پردازش تصویر با OpenCV
• نمایش اطلاعات تشخیص در نمای پرنده
• بررسی کاربرد این روش در تحلیل ترافیک

۵. ساخت ویژن ایجنت‌های حداقلی برای بینایی ماشین

در این مرحله، مباحث بینایی ماشین با مدل‌های زبانی بزرگ ترکیب می‌شوند. به‌جای استفاده مستقل از یک مدل تشخیص شیء، یک ایجنت می‌سازید که می‌تواند از خروجی مدل برای پاسخ‌گویی به درخواست‌های کاربر استفاده کند.

موضوعات این بخش:

• آشنایی با معماری ساده ویژن ایجنت
• ترکیب LLM و YOLO
• استفاده از خروجی تشخیص اشیا در جریان پردازش ایجنت
• شمارش اشیا با YOLO
• ساخت رابط کاربردی با Streamlit

۶. توسعه ویژن ایجنت‌های خودکار با Gemini و YOLO

یکی از بخش‌های اصلی دوره، ساخت ایجنت‌هایی است که بر اساس درخواست کاربر از ابزارهای مختلف استفاده می‌کنند. با قابلیت Function Calling در Gemini، می‌توان ابزارهای بینایی ماشین را در اختیار مدل قرار داد تا متناسب با مسئله، ابزار موردنیاز را انتخاب کند.

موضوعات این بخش:

• ساخت ویژن ایجنت با Gemini و YOLO
• آشنایی با مفهوم فراخوانی تابع یا Function Calling
• تعریف ابزارهای قابل استفاده برای ایجنت
• افزودن ابزارهای قطعه‌بندی تصویر
• افزودن قابلیت OCR برای استخراج متن از تصاویر
• ترکیب چند ابزار در یک جریان کاری واحد

۷. ساخت ایجنت هوش مصنوعی برای پردازش اسناد و فاکتورها

پردازش اسناد یکی از کاربردهای مهم ترکیب بینایی ماشین و مدل‌های زبانی است. در این بخش، ساخت ایجنتی بررسی می‌شود که بتواند اطلاعات موجود در اسناد و فاکتورها را استخراج کرده و برای تحلیل بیشتر در اختیار سیستم قرار دهد.

موضوعات این بخش:

• ساخت ایجنت پردازش اسناد با Gemini
• کار با اسناد و فاکتورهای دارای اطلاعات متنی
• استخراج اطلاعات موردنیاز از اسناد
• تحلیل اطلاعات استخراج‌شده
• استفاده از ابزارهای هوش مصنوعی در جریان پردازش اسناد

۸. ساخت ویژن ایجنت غذا و تغذیه

در آخرین بخش‌های پروژه‌محور، از بینایی ماشین برای شناسایی و بررسی غذاها و سپس جست‌وجوی اطلاعات تغذیه‌ای استفاده می‌شود. در این پروژه، مدل بینایی ماشین در کنار یک منبع داده خارجی قرار می‌گیرد تا اطلاعات مرتبط با غذا و تغذیه در اختیار کاربر قرار گیرد.

موضوعات این بخش:

• ساخت ایجنت غذا و تغذیه
• استفاده از بینایی ماشین برای تحلیل تصویر غذا
• اتصال جریان کاری به اطلاعات تغذیه‌ای
• استفاده از داده‌های واقعی USDA
• ترکیب تشخیص تصویری و جست‌وجوی اطلاعات خارجی

آشنایی با ابزارها و فناوری‌های دوره

YOLO26، YOLO11 و YOLOv8

مدل‌های خانواده YOLO برای انجام وظایف بینایی ماشین مانند تشخیص اشیا، قطعه‌بندی و طبقه‌بندی استفاده می‌شوند. در این دوره، از این مدل‌ها به‌عنوان بخش اصلی سیستم‌های تحلیل تصویر استفاده می‌شود.

Gemini و Function Calling

Gemini در این دوره برای ساخت ایجنت‌هایی به کار می‌رود که می‌توانند ابزارهای مختلف را فراخوانی کنند. با تعریف ابزارهایی مانند تشخیص شیء، قطعه‌بندی و OCR، امکان طراحی جریان‌های کاری چندمرحله‌ای فراهم می‌شود.

Python

پایتون زبان اصلی توسعه پروژه‌های عملی این دوره است و برای پیاده‌سازی منطق پردازش تصویر، اجرای مدل‌ها و اتصال ابزارهای مختلف به یکدیگر استفاده می‌شود.

Roboflow

Roboflow برای آماده‌سازی و برچسب‌گذاری دیتاست‌های تصویری کاربرد دارد و در بخش آموزش مدل سفارشی تشخیص شیء مورد استفاده قرار می‌گیرد.

OpenCV

OpenCV ابزار پردازش تصویر است که در پروژه‌هایی مانند تبدیل نمای پرنده و تحلیل تصاویر مرتبط با ترافیک کاربرد دارد.

Streamlit

Streamlit برای ساخت رابط‌های کاربردی ساده با پایتون استفاده می‌شود و در پروژه شمارش اشیا و نمایش نتایج ویژن ایجنت به کار می‌رود.

مفهوم ویژن ایجنت هوش مصنوعی چیست؟

ویژن ایجنت یا AI Vision Agent سیستمی است که قابلیت تحلیل تصویر را با توانایی تصمیم‌گیری و استفاده از ابزارهای هوش مصنوعی ترکیب می‌کند. برخلاف یک مدل بینایی ماشین که معمولاً یک وظیفه مشخص را انجام می‌دهد، ایجنت می‌تواند با توجه به درخواست کاربر، چند ابزار را در یک جریان کاری به کار بگیرد.

برای مثال، در یک سیستم پردازش فاکتور، ایجنت می‌تواند از ابزار OCR برای استخراج متن استفاده کند و سپس اطلاعات استخراج‌شده را برای تحلیل بیشتر به مدل زبانی بدهد. در یک پروژه تحلیل ترافیک نیز می‌توان خروجی تشخیص خودرو را برای محاسبه یا نمایش تراکم خودروها به کار گرفت.

البته عملکرد ایجنت به کیفیت مدل‌ها، تعریف صحیح ابزارها، داده‌های ورودی و نحوه اعتبارسنجی نتایج وابسته است. استفاده از چند ابزار به‌تنهایی تضمین نمی‌کند که پاسخ‌های سیستم همیشه صحیح باشند؛ بنابراین بررسی خروجی‌ها و اعتبارسنجی داده‌ها اهمیت زیادی دارد.

پیش‌نیازهای دوره

طبق توضیحات مدرس، برای شروع این دوره به تجربه قبلی در زمینه ویژن ایجنت‌ها، YOLO یا بینایی ماشین نیاز ندارید و مفاهیم از پایه معرفی می‌شوند.

بااین‌حال، آشنایی مقدماتی با موارد زیر می‌تواند به درک بهتر پروژه‌های عملی کمک کند:

• مفاهیم پایه برنامه‌نویسی پایتون
• آشنایی ابتدایی با تصاویر و پردازش آن‌ها
• آشنایی کلی با مدل‌های هوش مصنوعی و کاربردهای آن‌ها
• آمادگی برای کار با ابزارها و کتابخانه‌های مورد استفاده در پروژه‌ها

این دوره برای چه کسانی مناسب است؟

• علاقه‌مندان به هوش مصنوعی و بینایی ماشین: افرادی که می‌خواهند با کاربردهای YOLO و مدل‌های جدیدتر در پروژه‌های عملی آشنا شوند.
• برنامه‌نویسان پایتون: افرادی که قصد دارند پروژه‌های بینایی ماشین خود را به اپلیکیشن‌های کاربردی تبدیل کنند.
• متخصصان Computer Vision: افرادی که می‌خواهند مدل‌های تشخیص تصویر را با LLMها و قابلیت Function Calling ترکیب کنند.
• توسعه‌دهندگان ایجنت‌های هوش مصنوعی: افرادی که به ساخت سیستم‌های چندابزاری و متصل به داده‌های واقعی علاقه دارند.
• علاقه‌مندان به پروژه‌های نمونه‌کار: افرادی که می‌خواهند پروژه‌هایی در حوزه تشخیص اشیا، تحلیل ترافیک، پردازش اسناد و تحلیل تصاویر غذا بسازند.

جمع‌بندی

دوره آموزش YOLO26 و ویژن ایجنت‌های هوش مصنوعی، ترکیبی از مباحث بینایی ماشین و کاربردهای عملی هوش مصنوعی مولد است. در این آموزش با مدل‌های YOLO، آموزش مدل سفارشی، تشخیص و تحلیل تصاویر و نحوه اتصال ابزارهای بینایی ماشین به ایجنت‌های مبتنی بر Gemini آشنا می‌شوید.

پروژه‌های دوره از تشخیص چاله‌های خیابان و تحلیل ترافیک تا پردازش اسناد، فاکتورها و اطلاعات تغذیه‌ای را پوشش می‌دهند. این مسیر آموزشی می‌تواند نقطه شروعی برای ساخت اپلیکیشن‌های هوشمند مبتنی بر تصویر و توسعه نمونه‌کار در حوزه بینایی ماشین و ایجنت‌های هوش مصنوعی باشد.