ここから本文です

アマゾンのサイトから、全商品の内、年齢認証の出るアダルト商品だけを除いて、商...

iya********さん

2018/9/2821:52:08

アマゾンのサイトから、全商品の内、年齢認証の出るアダルト商品だけを除いて、商品情報をスクレイピングする事は出来ますか?どうやればいいですか?

閲覧数:
44
回答数:
2

違反報告

ベストアンサーに選ばれた回答

por********さん

2018/9/2900:47:53

>商品情報をスクレイピングする事は出来ますか?

できるでしょうが、現実的じゃないでしょうね。

>どうやればいいですか?

プログラムを作成。もしくは外注。

  • 質問者

    iya********さん

    2018/9/2901:34:43

    なんで現実的じゃないんですか?数が多すぎるからですか?

返信を取り消しますが
よろしいですか?

  • 取り消す
  • キャンセル

この回答は投票によってベストアンサーに選ばれました!

このQ&Aで解決しましたか?質問する

閉じる

ベストアンサー以外の回答

1〜1件/1件中

プロフィール画像

カテゴリマスター

pri********さん

2018/9/2903:42:33

ぜ、全商品ですか!?

https://sellercentral-japan.amazon.com/forums/t/amazon-co-jp/276

種類で5,000万だそうですよ。運営者も数は把握していないみたい。
仮に1種類1点として、アダルトを除いて4,000万だとして、通信が発生するので、1件取得するのに1〜2秒かかったとすると、何日かかるか計算できると思います。
その間にも商品数は推移して行くわけです。

となると、マシンを何台も並べて並列でスクレイピングをかけることになるのですが、そうなると今度は回線がもたない事になりそうです。
帯域の広い高速回線が必要ですね。
で、おそらくそれだけアクセスすれば攻撃と変わらないので、amazon 側から接続をブロックされるかもしれません。

商品点数が多いということは、データ量も多いということでテラバイトオーダーですし、OSが管理できるファイル数にも制限がありますし、考慮すべき点がいっぱいあります。

仮にアマゾンと契約して生データもらえたとしても、export / import で初回は1日ではおわらず、数日かかる気がします。そのあとは差分で取り込みできると思いますが、差分でも相当高速なマシンで並列処理できる環境じゃないと。
経験では数百万点で50Tぐらいの在庫データ移行でも計画に1ヶ月、実作業で2日かかりましたから。
生データのDisk to Disk でも、この有様ですから、スクレイピングとなると、終わる気がしません。

アマゾンは出店できるので、他店の価格動向は気になるのは当然と思いますが、一般的にはスクレイピングは客の邪魔になる(通信やシステムリソースは客に使いたいという意味です)ので、スクレイピングさせないよう対策を講じているところもあります。(アマゾンはしてなさそう)サイト側からしたら嫌われている行為だということも認識しておいてください。

返信を取り消しますが
よろしいですか?

  • 取り消す
  • キャンセル

みんなで作る知恵袋 悩みや疑問、なんでも気軽にきいちゃおう!

Q&Aをキーワードで検索:

本文はここまでです このページの先頭へ

「追加する」ボタンを押してください。

閉じる

※知恵コレクションに追加された質問は選択されたID/ニックネームのMy知恵袋で確認できます。

不適切な投稿でないことを報告しました。

閉じる