公式ドキュメントやマニュアル、技術ブログなど、Web上の情報をチャットボットの知識として活用したいと思ったことありませんか？

このセクションでは、FirecrawlというWebクローラーを使って、それを実現する方法を説明します。

1. 準備：Firecrawlの設定

まず、知識を作成するところから始めましょう。

1. 「知識を作成」をクリック

   

2. データソースの選択で「Webサイトから同期」を選ぶ

1. Firecrawlの設定画面が表示される

ここで重要なのが、FirecrawlのAPI登録です。まだ済んでいない方は、別途案内されている手順でAPI Keyを取得してください。

API Keyをお持ちでない場合：

• 設定ボタンをクリック
• Websiteのconfigureをクリック
• 表示された画面でAPI Keyを入力
• 「保存」をクリック
• 設定がアクティブになります

2. Webコンテンツの取得

Firecrawlがアクティブになったら、いよいよWebコンテンツの取得です。

1. 読み込みたいURLを入力
2. オプションの設定
   • Crawl sub-pages: サブページも取得するかどうか
   • Limit: 取得するページ数の制限
   • Max depth: クロール深度の制限
   • Exclude/Include paths: 除外/含めるパスの指定
3. 「次へ」ボタンをクリック

すると、指定したURLからコンテンツを読み込んできます。取得したページの一覧が表示されるので、必要な項目にチェックを入れましょう。全部取り込みたい場合は「Select All」でOKです。

3. RAGの設定

コンテンツを選択したら、次はRAG（Retrieval Augmented Generation）の設定です。