Alai

Dans ce post, nous allons apprendre le web scraping avec python. En utilisant python, nous allons scrapper Yahoo Finance. C’est une grande source de données boursières. Nous allons coder un scraper pour cela. En utilisant ce scraper, vous serez en mesure d’extraire les données boursières de n’importe quelle entreprise de Yahoo Finance. Comme vous le savez, j’aime rendre les choses assez simples, pour cela, je vais également utiliser un scraper web qui augmentera votre efficacité de scrapping.

Pourquoi cet outil ? Cet outil nous aidera à gratter des sites web dynamiques en utilisant des millions de proxies rotatifs afin de ne pas être bloqué. Il fournit également une facilité de compensation. Il utilise le chrome sans en-tête pour gratter les sites web dynamiques.

Généralement, le grattage web est divisé en deux parties :

1. La récupération des données en faisant une requête HTTP
2. L’extraction des données importantes en analysant le DOM HTML

Librairies &Outils

1. Beautiful Soup est une bibliothèque Python pour extraire les données des fichiers HTML et XML.
2. Les requêtes vous permettent d’envoyer des requêtes HTTP très facilement.
3. Outil de scraping web pour extraire le code HTML de l’URL cible.

Setup

Notre configuration est assez simple. Il suffit de créer un dossier et d’installer les demandes de Beautiful Soup &. Pour créer un dossier et installer les bibliothèques tapez les commandes données ci-dessous. Je suppose que vous avez déjà installé Python 3.x.

mkdir scraper
pip install beautifulsoup4
pip install requests

Maintenant, créez un fichier à l’intérieur de ce dossier par le nom que vous voulez. J’utilise scraping.py.

D’abord, vous devez vous inscrire à l’API scrapingdog. Cela vous fournira 1000 crédits GRATUITS. Ensuite, il suffit d’importer Beautiful Soup & demandes dans votre fichier. comme ceci.

from bs4 import BeautifulSoup
import requests

Ce que nous allons scraper

Voici la liste des champs que nous allons extraire :

1. Clôture précédente
2. Open
3. Bid
4. Ask
5. Day’s Range
6. 52 Week Range
7. Volume
8. Avg. Volume
9. Capacité boursière
10. Bêta
11. Ratio PE
12. EPS
13. Taux de bénéfice
14. Dividende à terme &Rendement
15. Dividende Ex.Dividende & Date
16. 1y target EST

Préparation de la nourriture

Maintenant, puisque nous avons tous les ingrédients pour préparer le scraper, nous devons faire une requête GET à l’URL cible pour obtenir les données HTML brutes. Si vous n’êtes pas familier avec l’outil de scraping, je vous conseille vivement de parcourir sa documentation. Maintenant, nous allons gratter Yahoo Finance pour les données financières en utilisant la bibliothèque requests comme indiqué ci-dessous.

r = requests.get("https://api.scrapingdog.com/scrape?api_key=<your-api-key>&url=https://finance.yahoo.com/quote/AMZN?p=AMZN&.tsrc=fin-srch").text

cela vous fournira un code HTML de cette URL cible.

Maintenant, vous devez utiliser BeautifulSoup pour analyser le HTML.

soup = BeautifulSoup(r,'html.parser')

Maintenant, sur la page entière, nous avons quatre balises « tbody ». Nous sommes intéressés par les deux premières car nous n’avons actuellement pas besoin des données disponibles à l’intérieur de la troisième &quatrième balise « tbody ».

D’abord, nous allons trouver toutes ces balises « tbody » en utilisant la variable « soupe ».

alldata = soup.find_all("tbody")

try:
table1 = alldata.find_all("tr")
except:
table1=Nonetry:
table2 = alldata.find_all("tr")
except:
table2 = None

l={}
u=list()

for i in range(0,len(table1)):
try:
table1_td = table1.find_all("td")
except:
table1_td = None l.text] = table1_td.text u.append(l)
l={}

for i in range(0,len(table2)):
try:
table2_td = table2.find_all("td")
except:
table2_td = None l.text] = table2_td.text u.append(l)
l={}

{
"Yahoo finance": 
}