1.Web Scraper:　最もシンプルなスクレイピングに便利

ツール名: Web Scraper

認証: 必要

認証方法: 「取得方法」をクリックし、当該サイトからSerpAPIKeyを取得し、設定します。

機能概要:

• 指定されたURLから内容をスクレイピングし、テキストを抽出し出力します。

特徴:

• シンプルな構造です。Webページの内容をちょっと確認したいというときに便利です。
• 認証が必要ないため、気軽に使えます。

使いどころ:

• ユーザから入力されたURLでスクレイピングを行い、その結果からユーザの質問にあう答えを出力する。という使い方ができます。

使用方法:

Web Scraperの設定

LLMの設定

+実行結果

+実行結果続き

2.JINA: 使いやすく高機能

ツール名: Fetch Single Page

認証: 必要

認証方法: 「取得方法」をクリックし、当該サイトからSerpAPIKeyを取得し、設定します。

機能概要:

• 指定されたURLから内容をスクレイピングし、LLMライクな形式に出力します。

特徴:

• DifyユーザはこのJINAを使うことが多いです。
• 無料枠の限界があるので、使い続けるためには課金が必要です。

使いどころ:

• ユーザから入力されたURLでスクレイピングを行い、その結果からユーザの質問にあううLLMで回答をまとめて出力するという使い方ができます。

使用方法:

JINA AIツールはWeb検索も可能ですが、スクレイピングが必要な場合はFetch Single Pageを使います。URLを指定しいくつかのオプションを指定することで、必要な情報をWebから抽出することができます。

LLMの設定

Fetch Single Pageからの出力変数のtextにはLLMライクなフォーマットで結果が出力されます。そのためLLMではそれをそのまま使うことができます。

実行（質問をする）

質問をしてみます。 入力フィールドにスクレイピングしたいWebページのURLを入力します。そして、任意の質問をします。

実行結果