جدول محتوایی
با آموزش نصب Scrapy در لینوکس ویندوز و مک او اس در اختیار شما دوستان هستیم.
آشنایی با Scrapy
Scrapy یک چارچوب پیمایش وب سریع و منبع باز است که در پایتون نوشته شده است و برای استخراج داده ها از صفحه وب با کمک انتخابگرهای مبتنی بر XPath استفاده می شود.
Scrapy برای اولین بار در 26 ژوئن 2008 با مجوز BSD منتشر شد
چرا از Scrapy استفاده کنیم ؟
ساخت و مقیاس پروژه های پیمایش بزرگ, را آسان تر میکند
یک مکانیسم داخلی به نام Selectors برای استخراج داده ها از وب سایت ها دارد.
درخواست ها را به صورت ناهمزمان مدیریت می کند و سریع است.
به طور خودکار سرعت خزیدن را با استفاده از مکانیزم throttling خودکار تنظیم می کند.
دسترسی توسعه دهندگان را مطمعن و راحت می کند.
Scrapy را می توان با استفاده از pip نصب کرد. برای نصب دستور زیر را اجرا کنید :
pip install Scrapy
نصب در ویندوز
مرحله 1 – پایتون را از پایتون نصب کنید.
با افزودن مسیرهای زیر به PATH – آدرس اجرا را تنظیم کنید.
C:\Python27\;C:\Python27\Scripts\;
با استفاده از دستور زیر می توانید نسخه پایتون را بررسی کنید :
python --version
مرحله 2 – OpenSSL را نصب کنید.
C:\OpenSSL-Win32\bin را در متغیرهای محیطی خود اضافه کنید.
توجه – OpenSSL در همه سیستم عامل ها به جز ویندوز از قبل نصب شده است.
مرحله 3 – Visual C++ 2008 redistributables را نصب کنید.
مرحله 4 – pywin32 را نصب کنید.
مرحله 5 – پیپ را برای نسخه های پایتون قدیمی تر از 2.7.9 نصب کنید.
با استفاده از دستور زیر می توانید نسخه pip را بررسی کنید
pip --version
مرحله 6 – برای نصب scrapy، دستور زیر را اجرا کنید :
pip install Scrapy
اوبونتو
آخرین نسخه پایتون از پیش روی سیستم عامل اوبونتو نصب شده است. از بسته های اوبونتو aptgettable ارائه شده توسط Scrapinghub استفاده کنید.
مرحله 1 – باید کلید GPG مورد استفاده برای امضای بسته‌های Scrapy را به کلید APT وارد کنید.
sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv 627220E7
مرحله 2 – سپس از دستور زیر برای ایجاد فایل /etc/apt/sources.list.d/scrapy.list استفاده کنید.
echo 'deb http://archive.scrapy.org/ubuntu scrapy main' | sudo tee /etc/apt/sources.list.d/scrapy.list
مرحله 3 – بسته ها را به روز کنید و scrapy را نصب کنید
sudo apt-get update && sudo apt-get install scrapy
آرچ لینوکس
با استفاده از دستور زیر می توانید Scrapy را از بسته AUR Scrapy نصب کنید.
yaourt -S scrapy
مک او اس
برای نصب ابزارهای خط فرمان Xcode از دستور زیر استفاده کنید.
xcode-select --install
به جای استفاده از سیستم پایتون، نسخه به روز شده جدیدی را نصب کنید که با بقیه سیستم شما تضادی نداشته باشد.
مرحله 1 – Homebrew را نصب کنید.
مرحله 2 – متغیر اجرای PATH را تنظیم کنید تا مشخص کنید که بسته‌های homebrew باید قبل از بسته‌های سیستمی استفاده شوند.
echo "export PATH = /usr/local/bin:/usr/local/sbin:$PATH" >> ~/.bashrc
مرحله 3 – برای اطمینان از انجام تغییرات، bashrc. را با استفاده از دستور زیر بارگیری مجدد کنید
source ~/.bashrc
مرحله 4 – سپس پایتون را با استفاده از دستور زیر نصب کنید.
brew install python
مرحله 5 – Scrapy را با استفاده از دستور زیر نصب کنید.
pip install Scrapy
آموزش نصب Scrapy به اتمام رسید موفق و پیروز باشید. D: