جدول محتوایی

با آموزش نصب Scrapy در لینوکس ویندوز و مک او اس در اختیار شما دوستان هستیم.

آموزش نصب Scrapy

آشنایی با Scrapy

Scrapy یک چارچوب پیمایش وب سریع و منبع باز است که در پایتون نوشته شده است و برای استخراج داده ها از صفحه وب با کمک انتخابگرهای مبتنی بر XPath استفاده می شود.

Scrapy برای اولین بار در 26 ژوئن 2008 با مجوز BSD منتشر شد

خرید گیم سرور

چرا از Scrapy استفاده کنیم ؟

ساخت و مقیاس پروژه های پیمایش بزرگ, را آسان تر میکند

یک مکانیسم داخلی به نام Selectors برای استخراج داده ها از وب سایت ها دارد.

درخواست ها را به صورت ناهمزمان مدیریت می کند و سریع است.

به طور خودکار سرعت خزیدن را با استفاده از مکانیزم throttling خودکار تنظیم می کند.

دسترسی توسعه دهندگان را مطمعن و راحت می کند.

Scrapy را می توان با استفاده از pip نصب کرد. برای نصب دستور زیر را اجرا کنید :

pip install Scrapy

نصب در ویندوز

مرحله 1 – پایتون را از پایتون نصب کنید.

با افزودن مسیرهای زیر به PATH – آدرس اجرا را تنظیم کنید.

C:\Python27\;C:\Python27\Scripts\;

با استفاده از دستور زیر می توانید نسخه پایتون را بررسی کنید :

python --version

مرحله 2 – OpenSSL را نصب کنید.

C:\OpenSSL-Win32\bin را در متغیرهای محیطی خود اضافه کنید.

توجه – OpenSSL در همه سیستم عامل ها به جز ویندوز از قبل نصب شده است.

مرحله 3 – Visual C++ 2008 redistributables را نصب کنید.

مرحله 4 – pywin32 را نصب کنید.

مرحله 5 – پیپ را برای نسخه های پایتون قدیمی تر از 2.7.9 نصب کنید.

با استفاده از دستور زیر می توانید نسخه pip را بررسی کنید

pip --version

مرحله 6 – برای نصب scrapy، دستور زیر را اجرا کنید :

pip install Scrapy

اوبونتو

آخرین نسخه پایتون از پیش روی سیستم عامل اوبونتو نصب شده است. از بسته های اوبونتو aptgettable ارائه شده توسط Scrapinghub استفاده کنید.

مرحله 1 – باید کلید GPG مورد استفاده برای امضای بسته‌های Scrapy را به کلید APT وارد کنید.

sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv 627220E7

مرحله 2 – سپس از دستور زیر برای ایجاد فایل /etc/apt/sources.list.d/scrapy.list استفاده کنید.

echo 'deb http://archive.scrapy.org/ubuntu scrapy main' | sudo tee 
/etc/apt/sources.list.d/scrapy.list

مرحله 3 – بسته ها را به روز کنید و scrapy را نصب کنید

sudo apt-get update && sudo apt-get install scrapy

آرچ لینوکس

با استفاده از دستور زیر می توانید Scrapy را از بسته AUR Scrapy نصب کنید.

yaourt -S scrapy

خرید سرور مجازی ایران

مک او اس

برای نصب ابزارهای خط فرمان Xcode از دستور زیر استفاده کنید.

xcode-select --install

به جای استفاده از سیستم پایتون، نسخه به روز شده جدیدی را نصب کنید که با بقیه سیستم شما تضادی نداشته باشد.

مرحله 1 – Homebrew را نصب کنید.

مرحله 2 – متغیر اجرای PATH را تنظیم کنید تا مشخص کنید که بسته‌های homebrew باید قبل از بسته‌های سیستمی استفاده شوند.

echo "export PATH = /usr/local/bin:/usr/local/sbin:$PATH" >> ~/.bashrc

مرحله 3 – برای اطمینان از انجام تغییرات، bashrc. را با استفاده از دستور زیر بارگیری مجدد کنید

source ~/.bashrc

مرحله 4 – سپس پایتون را با استفاده از دستور زیر نصب کنید.

brew install python

مرحله 5 – Scrapy را با استفاده از دستور زیر نصب کنید.

pip install Scrapy

آموزش نصب Scrapy به اتمام رسید موفق و پیروز باشید. D:

17رای - امتیاز 5 ممنون از امتیازی که دادید..!

دسته بندی شده در: