آموزش وب اسکرپینگ (ویدیویی-۲۰۲۵) کاملترین آموزش Web Scraping

در آموزش وب اسکرپینگ (Web Scraping)، بروزترین و کاملترین آموزش وب اسکرپینگ با پایتون در ایران، ویدیویی ۲۰۲۵، شما از سطح مقدماتی تا پیشرفته و پروژه‌محور وب اسکرپینگ (Web Scraping) را یاد خواهید گرفت و در تمام جلسات آموزش وب اسکرپینگ با پایتونشما مثال های عملی مختلفی را انجام خواهید داد که باعث جذابیت هر چه بیشتر دوره آموزش وب اسکرپینگ (Web Scraping) می‌شود.

دوره ویدیویی مقدماتی و پیشرفته و پروژه‌محور آموزش وب اسکرپینگ (Web Scraping) در  پایتون تهیه شده در آکادمی لرن‌فایلز (۲۰۲۵) در قالب ۳۴ ویدیوی آموزشی فارسی‌زبان به مدت ۳.۵ ساعت آموزش مفید (معادل بیش از ۲۱ ساعت آموزش غیر مفید) تدریس شده است!

آموزش وب اسکرپینگ (Web Scraping) با پایتون با این سطح از کیفیت برای اولین بار در ایران توسط آکادمی لرن فایلز تولید شده است و شما می‌توانید با اطمینان آموزش وب اسکرپینگ (Web Scraping) لرن فایلز را انتخاب کنید.

در ادامه مسیر آموزش برنامه نویسی و آموزش پروژه محور رسیدیم به آموزش وب اسکرپینگ با پایتون! ما در دوره آموزش وب اسکرپینگ، تمام مباحث مختلف در رابطه با استخراج داده از سطح وب را آموزش داده‌ایم و شما نیاز به هیچ گونه مرجع و داکیومنت آموزشی دیگری نخواهید داشت.

*** ضمناً دوره آموزش (Web Scraping) به صورت مداوم با سوالات و نیازهای دانشجویان آپدیت می‌شود.

در دوره وب اسکرپینگ، شما یاد می‌گیرید چطور به یک متخصص در استخراج و تحلیل داده‌ها از وب تبدیل شوید. ما ابزارهای قدرتمندی مثل Selenium، BeautifulSoup، Scrapy، Trafilatura، Selectolax و ParseHub را به‌طور کامل به شما آموزش می‌دهیم و شما را با تمام مراحل، از نصب این ابزارها گرفته تا استخراج و تحلیل داده‌ها، آشنا می‌کنیم.

دوره آموزش وب اسکرپینگ برای کسانی است که می‌خواهند به‌طور مبتدی و حرفه‌ای در زمینه وب اسکرپینگ فعالیت کنند و پروژه‌های پیچیده و دقیق انجام دهند. بعد از گذراندن این دوره، شما آماده خواهید بود تا داده‌های وب را به‌طور کامل استخراج و تحلیل کنید و از این داده‌ها برای تصمیم‌گیری‌های مهم و کاربردی استفاده کنید.

در  دوره، آموزش وب اسکرپینگ با پایتون تمام مباحث مختلف در رابطه با استخراج داده‌ها از وب را آموزش داده‌ایم و شما نیاز به هیچ گونه مرجع و داکیومنت آموزشی دیگری نخواهید داشت.

چرا دوره آموزش وب اسکرپینگ تهیه شده در لرن‌فایلز؟

• در این دوره سعی شده به شکل عملی و ویژه ورود به بازارکار آموزش داده شود تا دانشجویان دارای توانایی‌های لازم برای ورود به بازار کار شوند.
• شما با تهیه آموزش وب اسکرپینگ از پشتیبانی ۳۶۰ درجه مدرس دوره برخوردار خواهید شد و می‌توانید با مدرس دوره ارتباط مستقیم داشته باشید و جواب سوالات خود را فوراً دریافت نمایید.
• آموزش وب اسکرپینگ به صورت مداوم با سوالات و نیازهای دانشجویان آپدیت می‌شود و این آپدیت‌ها برای دانشجویان دوره به صورت کاملا رایگان است و در پنل می‌توانید آن ها را رایگان دریافت نمایید.
• تعداد زیادی ویدیوی آموزش رایگان از دوره آموزش وب اسکرپینگ به عنوان دمو و نمونه به صورت کامل و بدون تغییر از بخش‌های مختلف آموزش برای شما در ادامه قرار گرفته است که به باعث می‌شوند به راحتی بتوانید از کیفیت و سطح علمی بالای دوره آموزش وب اسکرپینگ اطمینان حاصل کنید و ارائه این تعداد بالا از ویدیو رایگان از یک دوره آن هم تنها به عنوان نمونه جهت ارزیابی شما مخاطب عزیز، نشانگر اعتماد 100درصد ما به کیفیت دوره‌هایمان است.

آموزش Web Scraping در یک نگاه سریع:

این ویدیو سریع و کوتاه را ببینید تا با آنچه در دوره آموزش وب اسکرپینگ (Web Scraping) یاد می‌دهیم، بیشتر آشنا شوید:

و اما بریم سراغ پروژه‌های جذاب انجام شده در این دوره…

پروژه‌های بزرگ انجام شده در دوره آموزش وب اسکرپینگ:

ما در این دوره تعدادی از بزرگترین سایت ها و پلفت فرم ها را در قالب یک پروژه اسکرپ کردیم تا شما با پروسه دیتا اسکرپینگ به صورت عملی آشنا شوید:

• وب اسکرپینگ دیجی کالا – استخراج محصولات از وبسایت Digikala با استفاده از Selenium
• وب اسکرپینگ تپسی – استخراج اخبار از Tap30.blog با استفاده از Trafilatura
• وب اسکرپینگ دیوار – استخراج املاک از Divar با استفاده از Scrapy
• وب اسکرپینگ فیدیبو – استخراج اطلاعات کتاب از وبسایت Fidibo با استفاده از Selenium
• وب اسکرپینگ ترب – استخراج اطلاعات موبایل از Torob با استفاده از Parsehub
• وب اسکرپینگ Yelp – استخراج اطلاعات رستوران از وبسایت Yelp با استفاده از BeautifulSoup
• وب اسکرپینگ OpenCodez – استخراج مقاله از وبسایت Opencodez با استفاده از BeautifulSoup
• وب اسکرپینگ جابینجا – استخراج اطلاعات از سایت جابینجا با استفاده از Parsehub
• وب اسکرپینگ دیجی کالا مگ – استخراج مقالات از سایت دیجی کالا مگ با استفاده از Trafilatura

این پروژه‌هایی بود که در دوره آموزش وب اسکرپینگ با هم قدم به قدم انجام خواهید داد.

آموزش وب اسکرپینگ (Web Scraping):

اگر شما هم به دنبال یادگیری مهارت‌های جدید و پرکاربرد در استخراج داده از وب هستید و می‌خواهید در این زمینه به فردی حرفه ای تبدیل شوید، قطعا دوره آموزش وب اسکرپینگ (Web Scraping) همان چیزی است که به دنبال آن هستید!

دوره جامع آموزش وب اسکرپینگ با پایتون یک دوره به شدت کامل و هیجان‌انگیز است که شما را به مهارت استخراج داده از وب می‌رساند.

دوره آموزش وب اسکرپینگ (Web Scraping) برای شما تدارک دیده شده است تا بتوانید به خوبی به مهارت و دانش استخراج دیتا از دنیای وب برسید. در دوره آموزش وب اسکرپینگ (Web Scraping) شما تمام اصول استخراج داده از وب را به صورت کامل یاد خواهید گرفت.

بیایید قبل از بررسی سرفصل ها به تعاریف اولیه و پایه در زمینه آموزش وب اسکرپینگ (Web Scraping) بپردازیم…

دوره آموزش وب اسکرپینگ (Web Scraping) آکادمی لرن فایلز این فرصت را به شما خواهد داد تا با شیوه استخراج داده از وب به صورت کامل آشنا شوید و کاربردهای آموزش وب اسکرپینگ (Web Scraping) را در مثال‌های واقعی با زبان پرطرفدار پایتون یاد بگیرید.

آموزش وب اسکرپینگ بسیار پولساز است…

موضوع اسکرپ کردن در بازار ایران و جهان بسیار ترند، به روز و پرطرفدار است. اگر سری به سایت‌های فریلنسری و استخدام داخل و خارج از ایران بزنید به سرعت متوجه این موضوع خواهید شد که وب اسکرپینگ در صدر لیست پروژه‌ها و تخصص مورد نیاز قرار دارد. حالا خبر خوش این است که دوره آموزش وب اسکرپینگ دقیقا شما را برای قبول کردن این پروژه‌ها و استخدام در این موقعیت‌های شغلی به صورت کامل آماده می‌کند.

وب اسکرپینگ چیست؟ (?Web Scraping)

فرض کنید از یک وب سایت اطلاعاتی می‌خواهید. مثلاً در مورد برنامه نویسی با پایتون می خواهیم اطلاعاتی جمع آوری کنیم. شما می‌توانید اطلاعات را از ویکی پدیا بردارید. اما اگر بخواهید در سریع ترین زمان ممکن حجم زیادی از اطلاعات را از یک یا چند وب سایت دریافت کنید، چه باید کرد؟ یا مثلا دنبال جمع آوری مقادیر زیادی داده از سطح وب برای آموزش الگوریتم یادگیری ماشین هستید! حالا چطور؟

در چنین شرایطی کپی کردن جواب نمی دهد! و این دقیقا همان وقتی است که باید از وب اسکرپینگ (Web Scraping) استفاده کنید. برخلاف فرآیند طولانی و خسته‌کننده دریافت دستی داده‌ها، وب اسکرپینگ (Web Scraping) از روش‌های خودکارسازی هوشمند برای دریافت هزاران یا حتی میلیون‌ها مجموعه داده در مدت زمان کمتر، استفاده می‌کند. این همان چیزی است که ما در آموزش وب اسکرپینگ به شما آموزش می‌دهیم.

وب اسکرپینگ (Web Scraping) چگونه کار می‌کند؟

اگر به دنبال آموزش وب اسکرپینگ هستید باید بدانید که وب اسکرپینگ (Web Scraping) می‌تواند تمام داده‌های تعدادی سایت‌ مشخص یا داده‌های خاصی از آن سایت ها را که کاربر می‌خواهد استخراج کند. در حالت ایده‌آل، بهتر است داده‌هایی را که می‌خواهید مشخص کنید تا وب‌ اسکرپر (استخراج کننده داده) فقط آن داده‌ها را به سرعت استخراج کند.

به عنوان مثال، ممکن است بخواهید صفحه دیجی کالا را برای انواع موبایل های موجود اسکرپ کنید، اما فقط داده‌های مربوط به انواع مدل‌های موبایل را بخواهید و نه نظرات مشتریان و سایر موارد دیگر را.

بنابراین، زمانی که یک وب اسکرپر نیاز به اسکرپ کردن یک سایت دارد، ابتدا URL‌ها مشخص می‌شوند؛ سپس تمام کدهای HTML آن سایت‌ها بارگیری و دانلود می‌شود و حتی یک اسکرپر پیشرفته‌تر ممکن است تمام عناصر CSS و Javascript را نیز استخراج و بارگیری کند. سپس اسکرپر، داده‌های مورد نیاز را از کد HTML واکشی کرده و این داده‌ها را در قالب مشخص و منظم به کاربر نهایی نشان میدهد که معمولا به شکل یک فایل اکسل با پسوند CSV است، اما داده‌ها را می‌توان در فرمت‌های دیگری مانند فایل JSON نیز ذخیره کرد.

چرا پایتون برای وب اسکرپینگ محبوب است؟

اگر از علاقمندان آموزش وب اسکرپینگ هستید بد نیست بدانید که پایتون محبوب‌ترین زبان برای وب اسکرپینگ (Web Scraping) است زیرا می‌تواند اکثر فرآیندها را به راحتی انجام دهد. همچنین دارای کتابخانه‌های مختلفی است که به طور خاص برای وب اسکرپینگ Web Scraping ایجاد شده اند. Scrapy یک فریم‌ورک وب اسکرپینگ اوپن سورس بسیار محبوب است که با زبان پایتون نوشته شده است.

اسکرپی (Scrapy) برای اسکرپینگ وب و همچنین استخراج داده‌ها با استفاده از API‌ها بسیار گزینه مناسبی است.

بیوتیفول سوپ (Beautiful soup) یکی دیگر از کتابخانه‌های پایتون است که برای وب اسکرپینگ (Web Scraping) بسیار مناسب است و ما در این دوره به صورت کامل آموزش Beautiful soup را پوشش می دهیم.

Beautiful soup یک Parse Tree ایجاد می‌کند که می‌تواند برای استخراج داده‌ها از HTML در یک وب سایت استفاده شود. بیوتیفول سوپ همچنین دارای چندین ویژگی برای پیمایش، جستجو و اصلاح این parse treeها می‌باشد.

کتابخانه‌های وب اسکرپینگ با پایتون بسیار متفاوت و متنوع هستند که ما تمام آن ها را در دوره آموزش وب اسکرپینگ پوشش می‌دهیم.

وب اسکرپینگ برای چه مواردی استفاده می‌شود؟

(Web Scraping) کاربردهای متعددی در صنایع مختلف دارد که ما برای تمام آنها مثال‌هایی را در آموزش وب اسکرپینگ برای شما تدارک دیده‌ایم و اکنون برخی از این موارد را بررسی می‌کنیم:

۱. نظارت بر قیمت با وب اسکرپینگ (Web Scraping)

اسکرپینگ وب (Web Scraping) می‌تواند توسط شرکت‌ها برای داده‌های محصول، ویژه محصولات خود و محصولات رقیب استفاده شود تا استراتژی های قیمت گذاری را متحول کند. شرکت‌ها می‌توانند از این داده‌ها برای تعیین قیمت بهینه محصولات خود استفاده کنند تا بتوانند حداکثر درآمد را به دست آورند.

۲. تحقیقات بازار با وب اسکرپینگ

اسکرپینگ وب (Web Scraping) می‌تواند برای تحقیقات بازار توسط شرکت‌ها استفاده شود. داده‌های اسکرپ‌شده وب با کیفیت بالا که در حجم‌های زیاد به‌دست می‌آیند می‌تواند برای شرکت‌ها در تجزیه و تحلیل روند مصرف‌کننده و درک مسیری که شرکت باید در آینده حرکت کند بسیار مفید باشد. شما پس از طی دوره آموزش وب اسکرپینگ بر این مورد هم مسلط خواهید شد.

۳. نظارت بر اخبار توسط (Web Scraping)

سایت‌های خبری با وب اسکرپینگ می‌توانند گزارش‌های دقیقی از اخبار جاری به یک شرکت ارائه کنند. این کار حتی برای شرکت‌های تجاری که اغلب دنبال اخبار هستند یا برای عملکرد روزانه خود به اخبار روزانه وابسته هستند، ضروری‌تر است. به هر حال، گزارش‌های خبری می‌توانند یک شرکت را در یک روز موفق کنند یا شکست دهند!

۴. تجزیه و تحلیل احساسات با استفاده از (Web Scraping)

اگر شرکت‌ها می‌خواهند احساسات مردم را در مورد محصولات خود بدانند، تجزیه و تحلیل احساسات ضروری است. شرکت‌ها می‌توانند برای جمع‌آوری داده‌ها از رسانه‌های اجتماعی مانند فیس‌بوک و توییتر استفاده کنند و احساسات عمومی در مورد محصولاتشان از کشف کنند. این موضوع به شرکت‌ها در ایجاد محصولاتی که مردم به دنبال آن هستند و برنده شدن در رقابت با سایر شرکت ها کمک می‌کند.

۵. بازاریابی ایمیلی

شرکت‌ها همچنین می‌توانند از وب اسکرپینگ (Web Scraping) برای بازاریابی ایمیلی استفاده کنند. آنها می‌توانند با استفاده از وب اسکرپینگ، آدرس ایمیل را از سایت‌های مختلف جمع‌آوری کنند و سپس ایمیل‌های تبلیغاتی و بازاریابی انبوه را برای همه افرادی که این شناسه‌های ایمیل را دارند ارسال کنند.

انواع Web Scrapers:

Web Scraperها را می‌توان بر اساس معیارهای مختلفی به چند دسته زیر تقسیم کرد:

• Web Scraperهای خود ساخته و سفارشی

شما می توانید Web Scraperهای خود ساخته و سفارشی برای خودتان داشته باشید اما نیاز به دانش پیشرفته برنامه‌نویسی دارید که در دوره آموزش وب اسکرپینگ کامل آن را یاد خواهید گرفت. اگر می‌خواهید ویژگی‌های بیشتری در Web Scraper خود داشته باشید، باید حرفه ای تر باشید؛ چیزی که ما در آموزش وب اسکرپینگ به شما ارائه می کنیم.

• وب اسکرپرهای پیش‌ساخته و آماده

Web Scraperهای از پیش‌ساخته شده نیز وجود دارند یعنی اسکریپت‌هایی وجود دارند که قبلا ساخته شده‌اند و شما می‌توانید به راحتی آنها را دانلود و اجرا کنید. این‌ اسکریپت‌ها همچنین گزینه‌های پیشرفته‌تری  هم به شما ارائه می‌دهند که می‌توانید آنها را سفارشی کنید.

• افزونه های اسکرپ ویژه مرورگر

Web Scraperهایی که به شکل افزونه‌های مرورگر ارائه می شوند به مرورگر شما اضافه شده و استخراج داده را برای شما انجام می دهند. این افزونه‌ها راحت هستند زیرا با مرورگر شما ادغام می‌شوند، اما در عین حال به همین دلیل محدود می باشند. هر ویژگی پیشرفته‌ای که خارج از محدوده مرورگر شما باشد، در این حالت غیرممکن است.

• نرم افزارهای Web Scraper

نرم‌افزار Web Scrapers این محدودیت‌ها را ندارد زیرا می‌توان آن‌ را دانلود و بر روی سیستم نصب کرد. نرم افزارهای وب اسکرپر پیچیده‌تر از افزونه های مرورگر بوده و دارای ویژگی‌های پیشرفته‌ای هستند که شما را محدود به مرورگر و محدودیت های آن نمی کنند. تمامی انواع اسکرپرها اعم از موارد قبلی و بعدی و نرم‌افزارهای اسکرپینگ در آموزش وب اسکرپینگ کاملاً پوشش داده شده است.

• اسکرپرهای تحت Cloud (بر روی سرور های ابری)

Cloud Web Scraper بر روی فضای ابری اجرا می شود. فضای ابری، سروری خارج از کامپیوتر شماست که اغلب توسط شرکتی که اسکرپر را از آن خریداری می‌کنید، به شما ارائه می شود.این نوع اسکرپر به سیستم شما اجازه می‌دهد تا روی کارهای دیگر تمرکز کند زیرا برای استخراج داده‌ها از وب‌سایت‌های مختلف به منابع کامپیوتر شما نیازی ندارد.

• اسکرپرهای لوکال (بر روی سیستم خودتان)

Local Web Scraperها به صورت لوکال و بر روی سیستم شما اجرا می‌شوند. بنابراین، اگر فرایند دیتا اسکرپینگ به CPU یا RAM بیشتری نیاز داشته باشد، کامپیوتر شما کند شده و یا کلا فرایند استخراج داده بسیار طولانی خواهد بود.

در آموزش وب اسکرپینگ با هم یاد می‌گیریم:

با آموزش وب اسکرپینگ (Web Scraping) و سرفصل‌های آن آشنا شوید، این ویدیو را ببینید:

حالا که با سرفصل‌های دوره آموزش وب اسکرپینگ آشنا شدید همراه ما باشید تا در ادامه جزئیات بیشتری از این آموزش را در اختیار شما دانشجویان لرن‌فایلز قرار دهیم…

در ادامه با ما همراه باشید تا به بررسی ویژگی‌های دیگر این آموزش بپردازیم.

آموزش وب اسکرپینگ برای چه کسانی مفید است؟

• برنامه‌نویسان و توسعه‌دهندگان وب:

افرادی که در حوزه برنامه‌نویسی فعالیت می‌کنند، می‌توانند از وب اسکرپینگ برای جمع‌آوری داده‌ها از وب‌سایت‌ها و استفاده از آن‌ها در برنامه‌ها و پروژه‌های خود بهره‌مند شوند.

• تحلیل‌گران داده:

کسانی که با تحلیل داده‌ها سروکار دارند، می‌توانند با استفاده از وب اسکرپینگ داده‌های مورد نیاز خود را از منابع مختلف جمع‌آوری کرده و برای تحلیل‌های خود استفاده کنند.

• محققان و دانشگاهیان:

وب اسکرپینگ به محققان این امکان را می‌دهد که به راحتی داده‌های مرتبط با تحقیق خود را از وب‌سایت‌ها استخراج کنند و آن‌ها را برای مقالات و پروژه‌های تحقیقاتی خود مورد استفاده قرار دهند.

• متخصصان بازاریابی:

این افراد می‌توانند با جمع‌آوری داده‌ها از رقبا و بازار، تحلیل‌های رقابتی و استراتژی‌های بازاریابی خود را بهبود بخشند.

• خبرنگاران و روزنامه‌نگاران:

برای جمع‌آوری داده‌ها و اطلاعات از منابع مختلف به منظور نوشتن مقالات و گزارش‌ها، وب اسکرپینگ می‌تواند ابزاری قدرتمند باشد.

• کارآفرینان و استارتاپ‌ها:

افرادی که در کسب‌وکارهای جدید فعالیت می‌کنند، می‌توانند از وب اسکرپینگ برای جمع‌آوری اطلاعات بازار، مشتریان و رقبا استفاده کنند.

• علاقمندان به وب اسکرپینگ:

افرادی که علاقمند به یادگیری مهارت پولساز جمع آوری و اسکرپ داده‌ها از وبسایت‌های مختلف هستند.

حالا نوبت به بررسی درآمد وب اسکرپرها در ایران رسیده است.

درآمد وب اسکرپرها در ایران چقدر است؟

در ایران، متخصصان وب اسکرپینگ معمولاً از زبان برنامه‌نویسی پایتون و کتابخانه‌هایی مانند Beautiful Soup، Scrapy و Selenium برای استخراج داده‌ها از وب‌سایت‌ها استفاده می‌کنند. درآمد این متخصصان به عوامل متعددی بستگی دارد، از جمله:

سطح تجربه و تخصص: برنامه‌نویسان با تجربه و مهارت‌های پیشرفته در وب اسکرپینگ معمولاً درآمد بالاتری دارند.

محل کار: در شهرهای بزرگ مانند تهران، حقوق برنامه‌نویسان به‌طور متوسط بالاتر است.

نوع پروژه و حوزه فعالیت: پروژه‌های مرتبط با تحلیل داده و هوش مصنوعی که نیازمند وب اسکرپینگ هستند، ممکن است دستمزدهای بالاتری داشته باشند.

با توجه به اینکه وب اسکرپینگ یکی از مهارت‌های مرتبط با برنامه‌نویسی پایتون است، می‌توان درآمد متخصصان این حوزه را در محدوده درآمد برنامه‌نویسان پایتون در نظر گرفت. بر اساس داده‌های موجود میانگین حقوق ماهانه برنامه‌نویسان پایتون در ایران از حدود ۲۰ میلیون تومان تا حدود ۶۰ میلیون تومان برای سطح سنیور گزارش شده است.

حالا بعد از کلی صحبت در مورد این آموزش نوبت به سرفصل‌های اصلی دوره ویدیویی آموزش وب اسکرپینگ رسیده است. همراه ما باشید…

سرفصل‌های دوره ویدیویی آموزش وب اسکرپینگ (Web Scraping):

سرفصل ها کلی بوده و بسیاری از موارد ذکر نشده است و ممکن است هر بخش شامل چندین ویدئو زیر مجموعه باشد.

• مقدمه و معرفی مدرس و دوره، شیوه تدریس و پیشگفتار
• آنچه در دوره آموزش وب اسکرپینگ با هم یاد می‌گیریم؟
• چرا این دوره شما را از هر دوره وب اسکرپینگ دیگری بی‌نیاز می‌کند؟
• چرا تنها با همین دوره می‌توانید حضور قدرتمندی در بازار داشته باشید؟
• چرا وب اسکرپینگ در ایران بسیار پرطرفدار و درآمدزا است؟
• مقدمه‌ای بر وب اسکرپینگ
• تعریف وب اسکرپینگ
• مفاهیم پایه وب اسکرپینگ
• کاربردهای عملی وب اسکرپینگ با پایتون
• تحلیل داده‌های رقابتی
• خلاصه‌سازی اطلاعات
• جمع‌آوری داده‌های بازاریابی
• کاربردهای تحقیقاتی (تحلیل داده‌ها، پژوهش‌های علمی)
• کاربردهای اجتماعی (پایش نظرات، تحلیل شبکه‌های اجتماعی)
• قوانین و مسائل قانونی مرتبط با وب اسکرپینگ
• بررسی قوانین حقوقی (قانون کپی رایت، شرایط استفاده وب‌سایت‌ها)
• اخلاقیات وب اسکرپینگ (احترام به حریم خصوصی، عدم بارگذاری زیاد سرورها)
• ابزارهای وب اسکرپینگ
• آموزش Selenium
• آموزش BeautifulSoup
• آموزش Scrapy
• آموزش Trafilatura
• آموزش Selectolax
• آموزش Requests-HTML
• آموزش ParseHub
• مقایسه ویژگی‌ها و کاربردهای هر ابزار
• آماده‌سازی محیط توسعه
• دانلود و نصب Visual Studio Code
• پیکربندی محیط کاربری و تنظیمات پایه
• نصب و راه‌اندازی Python
• پیکربندی محیط Python و مدیریت نسخه‌ها
• نصب و مدیریت کتابخانه‌های پایتون
•  نصب Requests برای ارسال درخواست‌های HTTP
• نصب BeautifulSoup برای پردازش HTML و XML
• نصب Selenium برای راه‌اندازی مرورگرهای خودکار
• نصب Scrapy برای مدیریت پروژه‌های وب اسکرپینگ پیشرفته
•  نصب Trafilatura برای استخراج داده‌های متنی از وب
• نصب Requests-HTML برای تعامل با JavaScript در وب‌سایت‌ها
• ایجاد و فعال‌سازی محیط مجازی
• نصب VENV
• ایجاد محیط‌های مجازی مستقل
• ایجاد محیط مجازی با VENV
• ایجاد محیط مجازی برای هر پروژه
• فعال‌سازی محیط مجازی
• فعال‌سازی و مدیریت محیط مجازی
• شروع کار با BeautifulSoup
• ساخت و استفاده از شیء BeautifulSoup
• ایجاد شیء BeautifulSoup برای پردازش HTML
• تبدیل درخواست‌ها به HTML
• تبدیل پاسخ‌های HTTP به فرمت HTML
• آشنایی با توابع ()find و ()find_all
• استفاده از find برای جستجوی عنصر واحد
• استفاده از find_all برای جستجوی چندین عنصر
• استفاده از متد get_text برای استخراج متن
• استخراج متن خالص از تگ‌ها
• اجرای اسکرپینگ تک صفحه‌ای
• پیکربندی و اجرای اسکرپینگ برای یک صفحه وب
• ذخیره‌سازی داده‌ها در دیتافریم با Pandas
• ساخت و مدیریت دیتافریم‌ها برای داده‌های استخراج شده
• پروژه عملی: اسکرپینگ چند صفحه‌ای از یک وب‌سایت
• ایجاد اسکریپت‌های اسکرپینگ برای چندین صفحه
• استفاده از find برای جستجوی عنصر واحد
• استفاده از find_all برای جستجوی چندین عنصر
• استفاده از متد get_text برای استخراج متن
• استخراج متن خالص از تگ‌ها
• اجرای اسکرپینگ تک صفحه‌ای
• پیکربندی و اجرای اسکرپینگ برای یک صفحه وب
• کار با Selenium
• نصب و پیکربندی Selenium
• دانلود و نصب کتابخانه Selenium
• نصب و تنظیم درایور مرورگر
• دانلود درایور مرورگر متناسب
• تنظیم درایور برای استفاده با Selenium
• ایجاد و پیکربندی درایور و ارائه آدرس وب‌سایت
• پیکربندی درایور برای وب‌سایت هدف
• اجرای تعاملات خودکار با المان‌ها
• کلیک، تایپ، فشردن دکمه‌ها
• جستجوی اتوماتیک و انتخاب المان‌ها
• جستجو و انتخاب عناصر با استفاده از Selenium
• مدیریت تعاملات پیچیده با استفاده از Selenium
• مدیریت فرم‌ها و دکمه‌ها
• ویژگی‌های find_element و find_elements
• استفاده از By.CLASS_NAME
• استفاده از By.NAME
• استفاده از By.LINK_TEXT
• استفاده از By.ID
• کار با Scrapy
• معرفی و ویژگی‌های Scrapy
• ویژگی‌های کلیدی Scrapy برای وب اسکرپینگ با پایتون
• نصب Scrapy و رفع مشکلات احتمالی
• نصب و رفع مشکلات معمول در نصب
• ایجاد و راه‌اندازی پروژه‌های Scrapy
• ایجاد پروژه جدید Scrapy
• پیکربندی و راه‌اندازی Spider
• تابع Parse و استفاده از ژنراتور Yield
• نوشتن تابع Parse برای پردازش داده‌ها
• استفاده از Yield برای بازگرداندن داده‌ها
• استخراج داده‌ها از وب‌سایت‌ها
• استخراج نام، قیمت و اطلاعات املاک از دیوار
• دریافت و پردازش متن و اطلاعات از المان‌ها
• ذخیره‌سازی داده‌ها به فرمت CSV
• خروجی داده‌ها به فایل CSV
• مدیریت فرآیندها با ماژول crawler_process
• مدیریت و اجرای Crawlers با crawler_process
• کار با Trafilatura
• نصب و پیکربندی Trafilatura
• استخراج داده از URL با fetch_url
• استخراج داده‌ها از URLهای مشخص
• استخراج محتوای مورد نیاز با Extract
• پردازش و استخراج محتوای متنی
• ذخیره‌سازی داده‌های پردازش شده
• استخراج داده‌ها از چندین URL با fetch_url
• مدیریت و پردازش چندین URL
• ذخیره چندین صفحه وب در فایل
• ذخیره‌سازی داده‌های چندین صفحه
• کار با Selectolax و Requests-HTML
• معرفی و مزایای Selectolax
• آشنایی با قابلیت‌ها و سرعت Selectolax
• نصب و پیکربندی Selectolax
• نصب و پیکربندی Requests-HTML
• دانلود و نصب کتابخانه Requests-HTML
• ساخت و مدیریت Session
• ایجاد و مدیریت جلسات HTTP
• ارسال درخواست به وب‌سایت‌ها با استفاده از Session
• دریافت و پردازش داده‌های میانی
• پردازش داده‌های میانی از پاسخ‌های وب
• تبدیل داده‌های استخراج شده به DataFrame با Pandas
• ساخت و مدیریت DataFrame برای داده‌های استخراج شده
• استخراج لینک‌های اخبار و ذخیره در DataFrame
• استخراج و ذخیره لینک‌های اخبار
• کار با ParseHub
• نصب و پیکربندی ParseHub
• دانلود و نصب نرم‌افزار ParseHub
• آشنایی با رابط کاربری ParseHub و ویژگی‌های آن
• معرفی ابزارها و امکانات ParseHub
• ایجاد پروژه جدید و تنظیمات اولیه
• ایجاد پروژه جدید و تنظیمات ابتدایی
• استخراج اطلاعات موبایل از Torob
• استخراج اطلاعات RAM ،ROM، باتری، دوربین، SIM Card، برند
• ویژگی‌های پیشرفته ParseHub
• جستجو و تایپ در کادر جستجو
• کلیک بر روی دکمه جستجو
• ویژگی‌های Test ،Run ،Scroll Repeat و Wait
• پیش‌نمایش و ذخیره‌سازی داده‌ها به فرمت‌های CSV و JSON
• پیش‌نمایش داده‌های استخراج شده
• استخراج مشاغل از سایت جابینجا
• استخراج عنوان شغل، نام شرکت، نوع قرارداد و لوکیشن
• مدیریت عملکرد خودکار دکمه Next
• تحلیل داده‌ها و نمایش آن‌ها در DataFrame با Pandas
• تحلیل و نمایش داده‌های استخراج شده در DataFrame
• اجرای پروژه نهایی و ارائه تحلیل‌های نهایی

جمع بندی و نکات پایانی آموزش وب اسکرپینگ:

• جمع بندی و ادامه مسیر شما…
• ارائه نکات جا مانده و جمع بندی آموزش وب اسکرپینگ
• وضعیت بازار / پروژه / درآمد و بیان تجربه های شخصی
• راهنمایی‌های لازم برای کسب درآمد از آنچه در آموزش وب اسکرپینگ باهم یاد گرفتیم!
• آینده هوش مصنوعی و اهمیت تسلط به ابزار های جدید
• ادامه مسیر یادگیری شما

سرفصلها را به صورت کامل بررسی کردید حالا نوبت ویدیوهای نمونه رایگان رسیده است…

لطفا ویدیوهای نمونه را به خوبی بررسی بفرمائید. این ویدیوها کاملا رایگان و با مدت کامل جلسه هستند.

جلسه 13 – Scrape Fidibo

جلسه 22 – Scrape DigikalaMag

جلسه 30 – Scrape Torob

در ادامه به مشخصات دوره آموزش وب اسکرپینگ می‌پردازیم: