創(chuàng)新互聯(lián)www.cdcxhl.cn八線動(dòng)態(tài)BGP香港云服務(wù)器提供商，新人活動(dòng)買多久送多久，劃算不套路！

河源ssl適用于網(wǎng)站、小程序/APP、API接口等需要進(jìn)行數(shù)據(jù)傳輸應(yīng)用場(chǎng)景，ssl證書未來(lái)市場(chǎng)廣闊！成為創(chuàng)新互聯(lián)公司的ssl證書銷售渠道，可以享受市場(chǎng)價(jià)格4-6折優(yōu)惠！如果有意向歡迎電話聯(lián)系或者加微信：028-86922220（備注：SSL證書合作）期待與您的合作！

這篇文章將為大家詳細(xì)講解有關(guān)什么是scrapy框架，文章內(nèi)容質(zhì)量較高，因此小編分享給大家做個(gè)參考，希望大家閱讀完這篇文章后對(duì)相關(guān)知識(shí)有一定的了解。

一、安裝scrapy框架

pip install scrapy

二、創(chuàng)建一個(gè)scrapy項(xiàng)目

安裝完成后，python會(huì)自動(dòng)將 scrapy命令添加到環(huán)境變量中去，這時(shí)我們就可以使用 scrapy命令來(lái)創(chuàng)建我們的第一個(gè) scrapy項(xiàng)目了。

打開命令行，輸入如下命令

scrapy startproject yourproject

這里的 startproject 命令將會(huì)在當(dāng)前目錄下創(chuàng)建一個(gè) scrapy項(xiàng)目，后面跟著的參數(shù)是需要?jiǎng)?chuàng)建的項(xiàng)目的名稱。

比如這里我們會(huì)創(chuàng)建一個(gè)名為 yourproject 的項(xiàng)目，項(xiàng)目結(jié)構(gòu)如下：

yourproject/
    scrapy.cfg
    yourproject/
        __init__.py
        items.py
        pipelines.py
        settings.py
        spiders/
            __init__.py
            ...

這些文件分別是：

scrapy.cfg: 項(xiàng)目的配置文件

yourproject/: 該項(xiàng)目的python模塊。該項(xiàng)目的所有代碼都在這個(gè)目錄下

yourproject/items.py: 項(xiàng)目中的item文件，我們?cè)谶@個(gè)文件里定義要爬取的數(shù)據(jù)，有點(diǎn)類似于 Django的 model。

yourproject/pipelines.py:項(xiàng)目中的pipelines文件（我把這個(gè)稱為通道文件，意思就是數(shù)據(jù)處理的通道），對(duì)爬取到的數(shù)據(jù)進(jìn)行處理（如：儲(chǔ)存）

yourproject/settings.py: 項(xiàng)目的設(shè)置文件，設(shè)置全局變量的值、通道的開啟和關(guān)閉以及多個(gè)通道和爬蟲的執(zhí)行優(yōu)先級(jí)

yourproject/spiders/: 爬蟲的主要邏輯都在這個(gè)文件夾里，包括頁(yè)面請(qǐng)求、數(shù)據(jù)提取、反爬措施等。

關(guān)于什么是scrapy框架就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，可以學(xué)到更多知識(shí)。如果覺得文章不錯(cuò)，可以把它分享出去讓更多的人看到。

網(wǎng)頁(yè)名稱：什么是scrapy框架-創(chuàng)新互聯(lián)
網(wǎng)頁(yè)地址：http://m.rwnh.cn/article32/ddocsc.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供營(yíng)銷型網(wǎng)站建設(shè)、定制開發(fā)、網(wǎng)站維護(hù)、云服務(wù)器、搜索引擎優(yōu)化、微信小程序

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)