Skip to main content

[web-scraping] タグが付いた質問

質問する

ウェブスクレイピングとは、ウェブサイトから特定の情報を自動的に抽出する技術のことです。

145 件の質問
新着 アクティブ 懸賞付き 未解決
0 票
0 回答
248 閲覧数

個人的な学習で、中小企業庁のデータベースをスクレイピングしようと思い、PythonとSeleniumを使って���動的なWebページからデータを取得するスクレイパーを作成しています。 このサイトでは「カード」形式で企業情報が表示されており、ボタンをクリックすると手数料に関するテーブルデータが動的に読み込まれます。しかし、このボタン操作とテーブルデータの取得に問題が発生しています。 取得したいページ： ...
Kazato Yoshida's user avatar
  • 1
0 票
2 回答
690 閲覧数

実行環境 Chrome OSのcrostini上のDebian12 テキストエディタ: VS Code VS Codeの拡張機能にJupyterを使用 importしたライブラリ: requests、BeautifulSoup4 起こった不具合 第1セルを実行して、その次に第2セルを実行した際にセルの下に入力するところが表示されない 期待している動作 第2セルを実行したときに、...
kamome_run's user avatar
  • 33
0 票
2 回答
174 閲覧数

実行環境 ChromeOSのcrostini上のDebian Selenium4を使用 Pythonの仮想環境はvenv 期待値 Instagramのログイン画面のうち、すべてのレイアウトのログイン画面でスムーズに自動ログインすること。 備考 ログインボタンの位置を始め、ログイン画面のデザイン自体が頻繁に変わります。 アクセスする毎に異なっていることもあるくらいです。 再現手順 下のコードを実行。 ...
kamome_run's user avatar
  • 33
0 票
0 回答
435 閲覧数

Mac OS X Big Surを使用して、Pythonでプログラムを組んでいます。タ��トルのメソッドを次のようにして使用しています。 from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait ...
ノマド名古屋's user avatar
  • 23
0 票
0 回答
420 閲覧数

会社名と会社の住所のリストからスクレイピングで会社のウェブサイトのURLとそのウェブサイトの中の問い合わせフォームのURLを抽出してCSVファイルに書き出すというコードを作りました。 検索にはDuckduckgoを使っています。特にこだわりはないので他の検索でいいものがあれば教えてください。 しかし、会社名を検索してもNoneの値がCSVに入っているだけで ...
Taka's user avatar
  • 3
2 票
1 回答
929 閲覧数

使用システム： macOS Big Sur、Python 3.12.1、Seleinum 4.16.0 https://www.city.katsushika.lg.jp/tourism/1002753/1030217/1003234.html から予約システム； https://rsv.shisetsu.city.katsushika.lg.jp/katsushika/web/...
ノマド名古屋's user avatar
  • 23
0 票
1 回答
937 閲覧数

Python＋Selenium で JavaScriptで記述されたボタンをクリックできない。 あるフィットネスサイトをSeleniumで自動予約しようとしています。 レッスンの座席を指定するところまで遷移できましたが、座席がJavaScriptで記述されており、クリックできない状態となり、行き詰っております。 座席は、Excelの表形式の形で表示されており、1～50まで座が表示されています。 ...
藤原和広's user avatar
  • 33
0 票
0 回答
229 閲覧数

WEBスクレイピングでログインまで自動化したいのですが、ログインボタンの要素が見つからず困っています。 canvas要素上の処理であることは確認できましたが、どうログイン処理を記述するかで詰まりました。 座標を具体的に指定して組めはしましたが、異なる端末環境で使用する予定の為あまり意味がありません。 JSから数値取得して座標指定するといったことはできるのでしょうか？ VBA/...
GENKI's user avatar
  • 19
0 票
0 回答
232 閲覧数

特定の自動車モデルの画像をGoogleイメージ検索を使って自動的にダウンロードするためのPythonスクリプトを作成しています. しかし, webdriverが起動して検索を行うことは可能ですが, 画像の取得に失敗しそのままプログラムが終了してしまいます. Selenium4を使用しています. 以下, ソースコードです. from selenium.webdriver.common.by ...
Claire's user avatar
  • 1
0 票
1 回答
304 閲覧数

Pythonでwebスクレイピングを行っているのですが, 抽出したいデータが出力されません. サイトは, 日本酒オンライン販売のサイトで、商品名・価格・醸造元・アルコール度数・精米歩合などのデータを抽出したいと考えております. Visual Studio Code バージョン: 1.83.0 (Universal) 使用したOS：macOS 以下にコードを添付します. import scrapy ...
おこめ's user avatar
  • 3
0 票
1 回答
177 閲覧数

Pythonでfootball labというサイトのプレー割合(色の濃さ)を数年分スクレイピングしたいと考えているのですが、どのようにすれば取得できるか教えていただきたいです。 下図の場合、0.60,0.65,0.61,0,78...といった形でデータを取得したいと考えています。 よろしくお願いします。 football labの１試合のURL
Akira's user avatar
  • 3
0 票
0 回答
120 閲覧数

Rでwebスクレイピングしたいと考えています。 抜き取りたい情報はM-１グランプリの情報で (https://www.m-1gp.com/schedule/detail.html?id=539)におけるグループ名、コンビ名、結果の情報とコンビ名をクリックした先にある結成年、所属、前年度における結果等を抜き出そうと考えています。 初めのグループ名、コンビ名、...
遠藤猛瑠's user avatar
  • 1
0 票
2 回答
419 閲覧数

Rでwebスクレイピングを行っているのですが, 抽出したいデータが変数内に入りません. 抽出したいのは, テーブル型のデータです. サイトは, 東京都教育委員会の都立高校検索のサイトで、アクセスのところの駅・路線・所要時間のデータを抽出したいと考えております. 使用したライブラリ：rvest Rのバージョン：R 4.2.1 使用したOS：macOS 以下にコードを添付します. library(...
ぴっぴ's user avatar
  • 3
0 票
1 回答
217 閲覧数

プログラミング初心者です。Pyhtonを使い、LinkedInからGoogle社で働いている社員の出身大学のデータを集めたいのですが、スクレイピングを使えばいいのでしょうか？　また、スクレイピングで可能でしょうか？
stark02's user avatar
  • 1
1 票
1 回答
131 閲覧数

スクレイピング用ライブラリの使い方 上記サイトからCheerioライブラリを使用して、ログにホームページのHTML情報を出力したいのですが、うまくいきません 下記のコードは何が間違っているのでしょうか？ function textAndAddClass() { var spreadsheet = SpreadsheetApp.getActive(); var sheetURL =...
中村峻輔's user avatar
  • 61

15 30 50 件 / ページ
1
2 3 4 5
…
10