Ciência de Dados, IA e Scripting

BeautifulSoup & Scrapy Cheat Sheet

Seletores CSS/XPath, extração de dados e automação de web scraping em Python.

BeautifulSoup

Busca básica de elemento com BeautifulSoup.

soup = BeautifulSoup(html, 'html.parser')
soup.find('h1')

Uso de seletores CSS para encontrar elementos.

soup.select('.classe-css')

Inicia a estrutura de um projeto Scrapy.

scrapy startproject meu_projeto

Extração de texto usando seletor CSS no Scrapy.

response.css('div.title::text').get()

Extração de atributos usando XPath no Scrapy.

response.xpath('//a/@href').getall()

Executa o robô (spider) definido.

scrapy crawl meu_spider