Internet — turli maqsadlar uchun foydali ulkan ma'lumotlar manbai. Bu ma'lumotlarni yig'ish jarayoni veb-skreyping (web scraping) deyiladi — veb-saytdan ma'lumotni "qirib olib", o'z kompyuteringizga yoki bazaga saqlash.
🟡 Agar siz brauzer konsolida
document.querySelector()orqali HTML elementlarni "ushlagan" bo'lsangiz — bu tushuncha sizga tanish. Farqi: u yerda siz brauzerdagi sahifa bilan ishlagansiz, bu yerda esa Python orqali istalgan veb-saytning HTML kodini serverdan o'qib, undan kerakli qismni ajratib olamiz (Node.js dunyosida bungacheeriokutubxonasi mos keladi).
Veb-skreyping uchun ikkita paket kerak (PIP orqali, 20-kunda ko'rgan edik):
pip install requests
pip install beautifulsoup4requests— saytdan HTML kodini olib keladi (JS'dagifetch()vazifasini bajaradi)BeautifulSoup— olingan HTML ichidan kerakli elementlarni topib beradi (JS'dagidocument.querySelector()vazifasiga o'xshaydi, faqat brauzersiz)
import requests
from bs4 import BeautifulSoup
url = 'https://archive.ics.uci.edu/ml/datasets.php'
response = requests.get(url) # saytdan HTML'ni olib kelish
print(response.status_code) # 200 — muvaffaqiyatli
content = response.content
soup = BeautifulSoup(content, 'html.parser') # HTML'ni "tahlil qilish" uchun tayyorlash
print(soup.title) # <title>...</title> — butun teg bilan
print(soup.title.get_text()) # faqat teg ichidagi matnElementlarni topish — HTML teg, klass yoki id orqali (CSS selektor mantig'iga o'xshaydi):
tables = soup.find_all('table', {'cellpadding': '3'}) # cellpadding="3" atributiga ega barcha <table>larni topadi
table = tables[0] # natija ro'yxat, birinchisini olamiz
for td in table.find('tr').find_all('td'): # birinchi <tr> ichidagi barcha <td>lar
print(td.text)🟡 JS'da bunga eng yaqini:
document.querySelectorAll('table[cellpadding="3"]').find()— birinchi moslikni,find_all()— barcha mosliklarni qaytaradi (JS'dagiquerySelector()vaquerySelectorAll()ga mos).
robots.txt faylini va foydalanish shartlarini tekshiring — har bir saytni skreyping qilish ruxsat etilgan emas.
🌕 Siz alohida insonsiz, har kuni rivojlanmoqdasiz! Maqsadga yetishga atigi 8 kun qoldi. 22-kun challenge'ini tugatdingiz. Endi mashqlarni bajaring.
http://www.bu.edu/president/boston-university-facts-stats/saytini skreyping qilib, ma'lumotni JSON fayl sifatida saqlang.https://archive.ics.uci.edu/ml/datasets.phpsaytidagi jadvalni ajratib olib, JSON faylga aylantiring.- AQSh prezidentlari ro'yxati jadvalini skreyping qilib, JSON sifatida saqlang (jadval murakkab tuzilgan, vaqt ko'p ketishi mumkin).
🎉 TABRIKLAYMIZ! 🎉