Bright Data - Web Scraper

Extraia conteúdo de qualquer página web e obtenha markdown limpo usando a API Web Unlocker do Bright Data. Desativa automaticamente detecção de bots e CAPTCHA.

Configuração

1. Obtenha sua chave de API: Obtenha uma chave no Bright Data Dashboard.

2. Crie uma zona Web Unlocker: Crie uma zona em brightdata.com/cp clicando em "Add" (canto superior direito) e selecionando "Unlocker zone".

3. Defina as variáveis de ambiente:

export BRIGHTDATA_API_KEY="your-api-key"
export BRIGHTDATA_UNLOCKER_ZONE="your-zone-name"

Uso

bash scripts/scrape.sh "url"

Parâmetros:

• url (obrigatório): A URL da página web a ser extraída

Exemplos:

# Extrair um artigo de notícias
bash scripts/scrape.sh "https://example.com/article"

# Extrair uma página de produto
bash scripts/scrape.sh "https://shop.example.com/product/123"

Formato de Saída

Retorna conteúdo markdown limpo extraído da página web:

# Page Title

Main content of the page converted to markdown format...

## Section Heading

More content...

Funcionalidades

• Desativação de Detecção de Bots: Lida automaticamente com medidas anti-bot
• Resolução de CAPTCHA: Desativa desafios de CAPTCHA
• Markdown Limpo: Retorna conteúdo markdown bem formatado
• Renderização JavaScript: Trata páginas com muito JavaScript

Dependências

• curl - Para requisições de API