Web Scraping ile Veri Çekme: Pratik Başlangıç

Web scraping, internet sitelerinden otomatik olarak veri çekme işlemidir. Bir sayfanın HTML kodunu okuyup, ihtiyacın olan bilgileri ayıklayıp kaydedersin. Örneğin bir haber sitesinden başlıkları, fiyat sitesinden ürün fiyatlarını veya sosyal medyadan gönderileri toplamak gibi.

Neden kullanılır? Binlerce sayfayı el ile kontrol etmek imkansız. Scraping bunu saniyeler içinde yapar. Veri analizi, fiyat karşılaştırması, araştırma ve pazarlama için çok pratiktir.

Python'da en yaygın kütüphaneler BeautifulSoup ve Requests'tir. BeautifulSoup HTML'i parse eder, Requests sayfayı indirir. basit bir örnek:

1import requests
2from bs4 import BeautifulSoup
3
4url = 'https://example.com'
5response = requests.get(url)
6soup = BeautifulSoup(response.content, 'html.parser')
7
8# Tüm başlıkları çek
9basliklar = soup.find_all('h1')
10for baslik in basliklar:
11print(baslik.text)

Bu kod sayfayı indirir, HTML'i parse eder ve tüm h1 etiketlerini yazdırır.

Dikkat edilmesi gereken noktalar: Sitenin robots.txt dosyasını kontrol et, çok hızlı istek gönderme (site yavaşlayabilir), bazı siteler scraping'i yasaklayabilir. Hukuki açıdan da sitede izin olup olmadığını öğren. Ayrıca JavaScript ile yüklenen sayfalar için Selenium gibi tarayıcı otomasyon araçları gerekir.

Web scraping, doğru kullanıldığında çok güçlü bir veri toplama yöntemidir. Başlangıçta basit sitelerle pratik yap, sonra daha karmaşık projelere geç.