## 基本形
Pythonの標準ライブラリでURLを扱うクラスが用意されています。

```python
from urllib.parse import urlparse

parsed_url = urlparse('https://nishimura.club/article')
print(parsed_url)
# ParseResult(scheme='https', netloc='nishimura.club', path='/article', params='', query='', fragment='')
```

## ドメイン + プロトコル

```python
parsed_url = urlparse('https://nishimura.club/article')
url = "%s://%s" % (parsed_url.scheme, parsed_url.netloc)
print(url)
# https://nishimura.club
```

## 参考
- [urllib.parse --- URL を解析して構成要素にする](https://docs.python.org/ja/3/library/urllib.parse.html#module-urllib.parse)

Python

Python で ドメインの取得(URL操作)

<h2>基本形</h2>
<p>Pythonの標準ライブラリでURLを扱うクラスが用意されています。</p>
<pre><code>from urllib.parse import urlparse

parsed_url = urlpar...

Scrapy Cloud はあらかじめ、デプロイできる`env`とファイルが決まっています。
しかしながら、今回はFireStoreを`pipelines.py`で使用する必要があり、それを回避する方法を見つけました。

`credentials.Certificate()`は、dictでも渡すことができますが、`GOOGLE_APPLICATION_CREDENTIALS`の環境変数でエラーが発生してしまうので、pathを渡す必要があります。設定できる環境変数は[Settings — Scrapy 2.5.0 documentation](https://docs.scrapy.org/en/latest/topics/settings.html)に記載されています。

## ステップ1 デプロイ時にserviceAccount.jsonの生成

```crawler/__init__.py
import os

path = "{}/serviceAccount.json".format(os.getcwd())

credentials_content = '''
    ESCAPED_SERVICE_ACCOUT_JSON
'''

with open(path, "w") as text_file:
    text_file.write(credentials_content)

os.environ["GOOGLE_APPLICATION_CREDENTIALS"] = path
```

## ステップ2 serviceAccount.json　のエスケープ&ペースト

```py
credentials_content = '''
    ESCAPED_SERVICE_ACCOUT_JSON
'''
```

の`ESCAPED_SERVICE_ACCOUT_JSON`に

https://www.freeformatter.com/json-escape.html

でエスケープした`serviceAccount.json`の中身をそのまま貼り付けます。

## ステップ3 path の import

```crawler/models.py
import firebase_admin
from firebase_admin import credentials, firestore

from crawler import path

cred = credentials.Certificate(path)
firebase_admin.initialize_app(cred)

db = firestore.Client()
```

Scrapy Cloudは、`models.py`もデプロイできます。ここで、FireStoreのモデルを定義し、`pipelines.py`に渡しています。[A Minimalist End-to-End Scrapy Tutorial (Part III)](https://medium.com/@acowpy/scraping-files-images-using-scrapy-scrapinghub-and-google-cloud-storage-c7da9f9ac302)を参考にしました。

## Scrapy Cloud にデプロイ

```sh
poetry add shub
shub login
# API key: xxxxxx
shub deploy xxxxxx
```

## 最後に

結構無理やりデプロイしたので、良い方法とは言えないかもしれないです。実際に.envに定義できないので、使い勝手には欠けます。

やはり、公式にサポートされているS3に出力し、あとでデータクレンジングやDBへの保存を行うのが良いでしょう。

## 参考
- [Scrapy Cloud - Storing Results in Google Cloud Storage](https://jansonh.github.io/scrapinghub-gcs/)
- [A Minimalist End-to-End Scrapy Tutorial (Part III)](https://medium.com/@acowpy/scraping-files-images-using-scrapy-scrapinghub-and-google-cloud-storage-c7da9f9ac302)
- [Settings — Scrapy 2.5.0 documentation](https://docs.scrapy.org/en/latest/topics/settings.html)

Zyte

Scraping Cloud × FireStore serviceAccout.json をデプロイする

## 参考
- [Python Playground](https://www.programming-hero.com/code-playground/python/index.html)

## 配列

```py
list = ['A', 'B', 'C']
print(list[0]) # 'A'
```

## dict

```py
d = {'k1': 1, 'k2': 2, 'k3': 3}
print(d) # {'k1': 1, 'k2': 2, 'k3': 3}
print(d['k1']) # 1
```

## 型出力

```py
docs = websites_ref.stream()
print(type(docs)) # <class 'generator'>
```

NOTE: イテレータとジェネレータが存在する。

## 条件式 or

```py
og_description = "A"
description = "B"
answer = og_description or description or ""
print(answer) # "A"

og_description = ""
description = "B"
answer = og_description or description
print(answer) # "B"

og_description = None
description = "B"
answer = og_description or description
print(answer) # "B"

og_description = None
description = None
answer = og_description or description
print(answer) # None

og_description = None
description = None
answer = og_description or description or ""
print(answer) # ""
```

## 条件式 not

```py
if not is_existed:
```

## 三項演算子

```py
a = {True時の処理} if {条件式} else {False時の処理}
```

## URL取得

```py
from urllib.parse import urlparse
parsed_url = urlparse("https://nishimura.club/")
article_id = hash_text(parsed_url.geturl()) 
```

## import

```py
from urllib.request import urlopen
from urllib.parse import urlparse
```

- https://docs.python.org/ja/3/howto/urllib2.html

Python の基本構文

## 要件
- Dokcerを使用して、Scrapy環境を作ること。
- 指定したURLから、記事(コンテンツ)を取得できること。
- robots.txtからsitemap.xmlを取得する
- 相手サーバの負荷の考慮や法律を守ること。
- サーバにデプロイして、定期実行すること。
- 収集したデータは、クレンジングし、FireStoreに保存すること。

## 概要
### Spider
クロール対象のサイトへのリクエスト、レスポンスのパース処理を記述します
どのようにサイトを辿って、ページの内容をどうパースするかのロジックが Spider に書かれます

### Items
クロール対象のデータから抽出したいデータ構造を記述するモデルのようなものです
目的に応じて自由な構造を定義できます
Items は Spider で生成され Pipeline に渡されます

### Pipeline
Spider より渡された Items に対する処理を記述します
DB への保存、ファイル出力など目的に応じて自由に処理を記述できます

## ログ確認
```
import logging
logging.error("Some error")
```

## 最初にやったほうが良いこと
- [Scrapyチュートリアル](https://doc-ja-scrapy.readthedocs.io/ja/latest/intro/tutorial.html)

```
scrapy startproject tutorial
```

- 新しいScrapyプロジェクトの作成
- スパイダー(spider) を作成してサイトをクロールし、データを抽出します。
- コマンドラインを使用してスクレイピングされたデータをエクスポートする。
- **再帰的にリンクをたどるようにスパイダーを変更する。**
- スパイダー引数の使用

## 処理の順番
- 1.ドメインの`robots.txt`を見つける
- 2.`robots.txt`から`sitemap.xml`を見つける
- 3.`sitemap.xml`から各コンテンツページに行く
- 4.コンテンツページの`metatag`を取得する
- 5.`metatag`をクレンジングし、　itemsに変換する
- 6.itemsをpipelineに渡し、FireStoreに保存する(Websiteがない場合は、Websiteも登録する)

## Spiderの実行
Pythonファイルの実行または、CLIの実行どちらからでも実行できる。

```sh
scrapy crawl {SPIDER_NAME} # 実行
scrapy crawl {SPIDER_NAME} -o results/example.csv # 実行 & csv出力
```

## Scrapyの中でBeautifulSoupを使う
- [Leveraging Beautifulsoup within Scrapy](https://stackoverflow.com/questions/48086330/leveraging-beautifulsoup-within-scrapy)

```python
from bs4 import BeautifulSoup

class WebsiteSpider(scrapy.Spider):
    def parse(self, response):
        # BeautifulSoupを使う
        soup = BeautifulSoup(response.body, "lxml") 
        ...
```

## Metaタグの取得
```python
print(response.xpath("//meta").extract())
```

```python
def parse(self, response):
    soup = BeautifulSoup(response.body, "lxml") 

    # MetaTagの取得
    # Normal
    description = soup.find("meta",  { "name": "description" })
    title = soup.find("title").string # タグの中身を取る
    url = response.url
    print("description: %s" % (description['content']))
    print("title: %s" % (title))
    print("url: %s" % (url))

    # OGP
    og_description = soup.find("meta",  { "property": "og:description" })
    og_title = soup.find("meta",  { "property": "og:title" })
    og_url = soup.find("meta",  { "property": "og:url" })
    og_image_url = soup.find('meta', { 'property': 'og:image' })
    print("og_description: %s" % (og_description['content']))
    print("og_title: %s" % (og_title['content']))
    print("og_url: %s" % (og_url['content']))
    print("og_image_url: %s" % (og_image_url['content']))
```

## エラー
```
ERROR: Spider error processing
```

どこかnullだったりで落ちている。

## Itemsの出力
```spider.py
article = ArticleItem()
article['description'] = description
article['title'] = title
article['url'] = url
article['image_url'] = og_image_url
print("article: %s" % (article))
yield article
```

```pipeline.py
class ArticlePipeline(object):
    file = None

    def process_item(self, item, spider):
        print(item)
        return item
```

NOTE1: 定義したfield以外を代入すると、エラーになります。(当たり前)

NOTE2: ちなみに、クロールが長かった場合、途中で終了しても、出力設定をしていた場合、出力される。

## FireStoreとの接続
- [FirebaseでCloud Firestoreをつかってみよう　その１　データの挿入](https://peaceandwhisky.hatenablog.com/entry/2017/12/31/045314)

```py
import scrapy
import firebase_admin
from firebase_admin import credentials, firestore
# import logging

# Hack: 下記環境変数を設定しないとエラーになる
import os
os.environ['GOOGLE_APPLICATION_CREDENTIALS'] = './serviceAccount.json'
# 値のバリデーションチェック

class ValidationPipeline(object):
    print('ValidationPipeline: Activate')

    def process_item(self, item: scrapy.Item, spider: scrapy.Spider):
        if item['title'] is None or item['title'] == '':
            raise scrapy.exceptions.DropItem('Missing value: title')

        if item['url'] is None or item['url'] == '':
            raise scrapy.exceptions.DropItem('Missing value: url')

        return item

class ArticlePipeline(object):
    file = None

    def __init__(self):
        cred = credentials.Certificate('./serviceAccount.json')
        firebase_admin.initialize_app(cred)

    def open_spider(self, spider: scrapy.Spider):
        print('ArticlePipeline.open_spider: Activate')

    def close_spider(self, spider: scrapy.Spider):
        print('ArticlePipeline.close_spider: Activate')

    def process_item(self, item: scrapy.Item, spider: scrapy.Spider):
        print(item['title'])
        db = firestore.Client()

        # NOTE: document() 指定なしだとランダムにIDが生成される
        doc_ref = db.collection(u'articles').document()
        doc_ref.set({
            u'description': item['description'],
            u'image_url': item['image_url'],
            u'title': item['title'],
            u'url': item['url'],
        })
        return item
```

## ValidationPipeline

- `None`: dictのkeyがない場合、終了
- `''`: 空文字の場合、終了

Pythonで、Noneは、nullと同じ使われた方をする

```pipelines.py
class ValidationPipeline(object):
    def process_item(self, item: scrapy.Item, spider: scrapy.Spider):
        if item['description'] is None:
            raise scrapy.exceptions.DropItem('Missing value: description')

        if item['title'] is None or item['title'] == '':
            raise scrapy.exceptions.DropItem('Missing value: title')

        if item['url'] is None or item['url'] == '':
            raise scrapy.exceptions.DropItem('Missing value: url')

        if item['image_url'] is None:
            raise scrapy.exceptions.DropItem('Missing value: image_url')

        return item
```

```settings.py
ITEM_PIPELINES = {
    'crawler.pipelines.ValidationPipeline': 100,
    'crawler.pipelines.ArticlePipeline': 300,
}
```

設定する数字で、実行順番の制御を行っているよう。

## 参考
- [Scrapy 1.2 ドキュメント](https://scrapy-ja.readthedocs.io/ja/latest/)
- [アーキテクチャの概要 - Scrapy](https://scrapy-ja.readthedocs.io/ja/latest/topics/architecture.html)
- [Scrapy Note](https://sugiaki1989.gitbook.io/scrapy-note/)
- [Python, Scrapyの使い方（Webクローリング、スクレイピング）](https://note.nkmk.me/python-scrapy-tutorial/)
- [10分で理解する Scrapy](https://qiita.com/Chanmoro/items/f4df85eb73b18d902739)
- [Logging in Scrapy](https://stackoverflow.com/questions/38413829/logging-in-scrapy)
- [BeautifulSoupを使って、ブログ記事の情報をいろいろ絞り込んでみた](https://dev.classmethod.jp/articles/filtering-blog-article-using-beautifulsoup/)
- [Scrapyでサイトマップからスクレイピング](https://imabari.hateblo.jp/entry/2018/12/01/155452)
- [Scrapyでけ日記をクローリングする (2. PipelineでPostgreSQLに保存する)](https://ohke.hateblo.jp/entry/2018/07/07/230000)

Scrapyを使用したクローラ開発概要

## ポイント
- Modelを定義しよう([GoogleCloudPlatform/python-docs-samples/blob/master/firestore/cloud-client/snippets.py](https://github.com/GoogleCloudPlatform/python-docs-samples/blob/master/firestore/cloud-client/snippets.py))
- Firebaseの設定ファイルを切り出そう

## Firebaseファイルの切り出し

```lib/firebase.py
import firebase_admin
from firebase_admin import credentials, firestore

# HACK: 下記環境変数を設定しないとエラーになる
import os
os.environ['GOOGLE_APPLICATION_CREDENTIALS'] = './serviceAccount.json'

cred = credentials.Certificate('./serviceAccount.json')
firebase_admin.initialize_app(cred)

db = firestore.Client()
```

```py
from lib.firebase import db
```

## FireStoreに存在チェックについて

SQLでいうところの、ユニーク制限についても気になるところ。また、できないのであれば頻繁にデータパッチを行うことになるので、まとめていきたい。

![FireStore Relation](//images.contentful.com/0jyj5pjwic68/3xF6fsGtXvoIRHz1tAQXxA/b843ff33abe28d7da63e0b7eb51e93fc/_____________________.svg)

### 存在チェック 基本形
```py
doc_ref = db.collection(u'articles').document(doc_id)
doc = doc_ref.get()

if doc.exists:
  logging.info(Found)
else:
  logging.info(Not Found)
```

### 存在チェック limit() etc

もっと良い方法がないか考え中

```py
websites_ref = db.collection(u'websites').where(u'url', u'==', website_url).limit(1)
website_docs = websites_ref.stream()

# HACK: Generator型のempty checkがあれば、そちらで条件式を書く
is_website = False
for website_doc in website_docs:
    if website_doc.exists:
        is_website = True
```

## 追加

```py
website_ref = db.collection(u'websites').document()
website_ref.set({
    u'url': website_url,
})

doc_ref = db.collection(u'articles').document()
doc_ref.set({
    u'website_id': website_ref,
})
```

## 参考
- [Cloud Firestore を使ってみる](https://firebase.google.com/docs/firestore/quickstart)
- [Cloud Firestore でデータを取得する](https://firebase.google.com/docs/firestore/query-data/get-data)
- [GoogleCloudPlatform/python-docs-samples/blob/master/firestore/cloud-client/snippets.py](https://github.com/GoogleCloudPlatform/python-docs-samples/blob/master/firestore/cloud-client/snippets.py)


PythonとFireStoreの接続

Pythonで軽めにLinterを設定したい

## インストール
```
pip3 install flake8 autopep8
```

## VSCode設定

不要な設定もあるかも

```json
{
  "python.linting.enabled": true, // 文法チェックを行う
  "python.linting.pylintEnabled": false, // pylint は使わない
  "python.linting.pycodestyleEnabled": false,  // pep8 は使わない
  "python.linting.flake8Enabled": true,
  "python.linting.flake8Args": [
    "--ignore=W293, W504, E501",
    "--max-line-length=160",
  ],
  "python.formatting.provider": "autopep8", // 自動整形に autopep8 を使う
  "python.formatting.autopep8Args": [ // autopep8 の設定
    "--ignore=E111, E114, E402, E501"
  ],
  "[python]": {
    "editor.formatOnSave": true, // 保存時に自動整形を行う
    "editor.formatOnPaste": false, // ペースト時に自動整形を行わない
    "editor.formatOnType": false, // 入力後に自動整形を行わない
  },
}
```

## 実行

```
flake8 # 対象ファイルの確認
autopep8 -i {ファイルディレクトリ} # 自動修正
```

Python の Linter 設定

```lib/const.py
A = 'A'
```

```
from lib.const import A
```

Python でドメインの取得(URL操作)

基本形

ドメイン + プロトコル

参考

Related

Tags

Share

Table of Contents