Alai

In questo post, stiamo per imparare il web scraping con python. Usando Python faremo lo scraping di Yahoo Finance. Questa è una grande fonte di dati sul mercato azionario. Noi codificheremo uno scraper per questo. Usando questo scraper sarete in grado di raschiare i dati azionari di qualsiasi azienda da Yahoo Finance. Come sapete mi piace rendere le cose abbastanza semplici, per questo, userò anche un web scraper che aumenterà la vostra efficienza di scraping.

Perché questo strumento? Questo strumento ci aiuterà a raschiare siti web dinamici utilizzando milioni di proxy rotanti in modo da non essere bloccati. Fornisce anche una struttura di compensazione. Utilizza chrome senza intestazione per raschiare siti web dinamici.

Generalmente, il web scraping è diviso in due parti:

1. Raccolta di dati facendo una richiesta HTTP
2. Estrazione di dati importanti analizzando il DOM HTML

Librerie & Strumenti

1. Beautiful Soup è una libreria Python per tirare fuori dati da file HTML e XML.
2. Le richieste ti permettono di inviare richieste HTTP molto facilmente.
3. strumento di web scraping per estrarre il codice HTML dell’URL di destinazione.

Setup

La nostra configurazione è abbastanza semplice. Basta creare una cartella e installare le richieste di Beautiful Soup &. Per creare una cartella e installare le librerie digitare i comandi sotto indicati. Sto assumendo che tu abbia già installato Python 3.x.

mkdir scraper
pip install beautifulsoup4
pip install requests

Ora, crea un file all’interno di quella cartella con qualsiasi nome tu voglia. Io sto usando scraping.py.

Prima di tutto, devi iscriverti all’API di scrapingdog. Ti fornirà 1000 crediti GRATUITI. Poi basta importare Beautiful Soup & richieste nel tuo file. come questo.

from bs4 import BeautifulSoup
import requests

Cosa stiamo andando a raschiare

Ecco la lista dei campi che estrarremo:

1. Previous Close
2. Open
3. Bid
4. Ask
5. Day’s Range
6. 52 Week Range
7. Volume
8. Avg. Volume
9. Capitale di mercato
10. Beta
11. Rapporto PE
12. EPS
13. Tasso di guadagno
14. Dividendo &Rendimento
15. Ex-Dividendo & Data
16. 1y target EST

Preparazione del cibo

Ora, dato che abbiamo tutti gli ingredienti per preparare lo scraper, dovremmo fare una richiesta GET all’URL di destinazione per ottenere i dati HTML grezzi. Se non avete familiarità con lo strumento di scraping, vi invito a consultare la sua documentazione. Ora raschieremo Yahoo Finance per i dati finanziari usando la libreria di richieste come mostrato qui sotto.

r = requests.get("https://api.scrapingdog.com/scrape?api_key=<your-api-key>&url=https://finance.yahoo.com/quote/AMZN?p=AMZN&.tsrc=fin-srch").text

Questo vi fornirà un codice HTML di quell’URL di destinazione.

Ora, dovete usare BeautifulSoup per analizzare l’HTML.

soup = BeautifulSoup(r,'html.parser')

Ora, sull’intera pagina, abbiamo quattro tag “tbody”. Siamo interessati ai primi due perché attualmente non abbiamo bisogno dei dati disponibili all’interno del terzo &quarto tag “tbody”.

Primo, scopriremo tutti quei tag “tbody” usando la variabile “soup”.

alldata = soup.find_all("tbody")

try:
table1 = alldata.find_all("tr")
except:
table1=Nonetry:
table2 = alldata.find_all("tr")
except:
table2 = None

l={}
u=list()

for i in range(0,len(table1)):
try:
table1_td = table1.find_all("td")
except:
table1_td = None l.text] = table1_td.text u.append(l)
l={}

for i in range(0,len(table2)):
try:
table2_td = table2.find_all("td")
except:
table2_td = None l.text] = table2_td.text u.append(l)
l={}

{
"Yahoo finance": 
}