URL を Markdown に変換するツール

出力を確認する

送信した公開ページのそばで、URL から Markdown への出力を確認します。変換ツールは本文を保ち、ナビゲーション、Cookie の通知、フッターのリンクを取り除きますが、明確な記事構造を持たないページ — 製品ページ、ランディングページ、多数のティーザーを持つホームページ — では、サイドパネルが失われたり、引用したくないブロックが残ったりすることがあります。結果をインデックスする前に、先頭と末尾の段落をページと照らし合わせて確認してください。JavaScript で内容を構築するページはまずブラウザでレンダリングされます。クリック、スクロール、ログインの後にだけ読み込まれるテキストは、それでも取得できません。サイトがすでに Markdown を求めるクライアントに自身の Markdown を返している場合、それが品質チェックを通れば変換ツールはその版を使い、サイト全体のメニューやアーカイブのダンプのように見えるときは HTML ページにフォールバックします。元の URL を Markdown と一緒に保ち、読者が元のページに戻れるようにします。

ソースの文脈を保つ

送信した URL と取得日を、自分のワークフローで URL から Markdown への結果と一緒に保ちます。公開ページは変換後に変わることがあるので、後から訪れる人は改訂された箇所を見るかもしれません。front matter を有効にすると、結果の冒頭に元の URL、canonical URL、タイトル、そしてページが示している場合は著者、公開日、説明、サイト名、言語、リード画像が入ります。これらはページの meta タグ、構造化データ、署名から読み取られます。これらの項目はページ自身が述べている内容を繰り返すだけなので、調査でそれらに依存するなら原本で確認してください。API の metadata フィールドはこれとは別物で、あなたが渡す文脈だけを載せます。表や段落を引用する前にページと比較し、意味が変わらないよう周囲の文脈を十分に保ちます。Markdown は Web コンテンツを再利用しやすくしますが、そのページが正確か、再公開の許可があるかを確定するものではありません。

保存した HTML と URL

処理したい正確なページのスナップショットがすでに手元にあるときは、HTML 変換ツールを選びます。今回の変換の入力が公開されているアドレスであるときは、URL から Markdown を選びます。これらは入力の制御が異なる関連ワークフローです。保存したファイルは送信する入力を固定し、そのまま全体が変換されます。URL はリクエスト時にサイトが返す内容に依存し、本文だけに絞り込まれます。どちらの経路もアクセス制限を回避しません。サイトが取得を拒否したりログインを要求する場合は、適切なワークフローで取得を許可された素材を使ってください。アクセスできない URL を、別の変換の試行でアクセスが許されるかのように繰り返し再試行しないでください。

LLM リサーチ

研究者はファイルではなくソースを貼り付けます。この変換ツールは送信された URL を取得し、記事やドキュメントの本文を保って、引用・チャンク化・ノート保管庫への投入ができ、リンクも機能したままの Markdown を返します。サーバーが空の外枠を返したときは JavaScript ページをレンダリングし、ペイウォールにはログインしません。

• 公開されている URL のみに対応します。
• 取得ツールは身元を示します。運営者はユーザーエージェントを拒否できます — /docs/fetcher を参照してください。
• 保存した HTML ファイルは /html-to-markdown の担当で、ここではありません。