Det finns flera Python-bibliotek och ramverk för att extrahera data från webben. Alla börjar med ett visst verktyg tills de inser att det kanske inte passar bäst för deras nästa projekt. Även om det är högst osannolikt att du kommer att använda alla Python-verktyg i ett enda projekt, bör du veta vilka du ska ha till hands i din webbskrapningsverktygslåda.
Här är de bästa Python-biblioteken, ramverken och andra verktyg som hjälper dig att skrapa data från webben utan ansträngning.
1. Vacker soppa
Börjar listan med det bästa webbskrapningsbiblioteket för nybörjare: Beautiful Soup. Det är i huvudsak ett verktyg som extraherar data från analyserade HTML- och XML-filer genom att omvandla dokumentet till ett Python-objekt.
"Skönheten" med Beautiful Soup ligger i dess enkelhet. Det är lätt att ställa in och du kan komma igång med ditt första webbskrapningsprojekt
inom några minuter. Beautiful Soup använder en hierarkisk metod för att extrahera data från ett HTML-dokument. Du kan extrahera element med taggar, klasser, ID: n, namn och andra HTML-attribut.Att förvänta sig mer av Beautiful Soup skulle dock ta det för långt. Det finns inget inbyggt stöd för mellanprogram och andra avancerade funktioner som proxyrotation eller multi-threading. Med Beautiful Soup behöver du bibliotek för att skicka HTTP-förfrågningar, analysera det nedladdade dokumentet och exportera den skrapade informationen till en utdatafil.
2. förfrågningar
requests är utan tvekan det mest använda Python-biblioteket för att hantera HTTP-förfrågningar. Verktyget står emot sin slogan: HTTP for Humans™. Den stöder flera typer av HTTP-förfrågningar, allt från GET och POST till PATCH och DELETE. Inte bara detta, du kan kontrollera nästan alla aspekter av en förfrågan, inklusive rubriker och svar.
Om det låter enkelt, var säker eftersom förfrågningar även vänder sig till avancerade användare med dess många funktioner. Du kan leka med en begäran och anpassa dess rubriker, ladda upp en fil till en server med POST och hantera timeouts, omdirigeringar och sessioner, bland annat.
requests förknippas vanligtvis med Beautiful Soup när det kommer till webbskrapning då andra Python-ramverk har inbyggt stöd för att hantera HTTP-förfrågningar. För att få HTML-koden för en webbsida skulle du använda förfrågningar för att skicka en GET-förfrågan till servern, sedan extrahera textdata från svaret och skicka den vidare till Beautiful Soup.
3. Skramligt
Som namnet antyder är Scrapy ett Python-ramverk för att utveckla storskaliga webbskrapor. Det är den schweiziska armékniven för att extrahera data från webben. Scrapy hanterar allt från att skicka förfrågningar och implementera proxyservrar till dataextraktion och export.
Till skillnad från Beautiful Soup är den sanna kraften i Scrapy dess sofistikerade mekanism. Men låt inte den komplexiteten skrämma dig. Scrapy är det mest effektiva ramverket för webbskrapning på den här listan, när det gäller hastighet, effektivitet och funktioner. Den levereras med väljare som låter dig välja data från ett HTML-dokument med hjälp av XPath- eller CSS-element.
En ytterligare fördel är den hastighet med vilken Scrapy skickar förfrågningar och extraherar data. Den skickar och bearbetar förfrågningar asynkront, och det är detta som skiljer den från andra webbskrapningsverktyg.
Förutom de grundläggande funktionerna får du även stöd för middlewares, som är ett ramverk av krokar som injicerar ytterligare funktionalitet till standard Scrapy-mekanismen. Du kan inte skrapa JavaScript-drivna webbplatser med Scrapy ur lådan, men du kan använda mellanprogram som scrapy-selen, scrapy-splash och scrapy-scrapingbee för att implementera den funktionen i ditt projekt.
Slutligen, när du är klar med att extrahera data, kan du exportera den i olika filformat; CSV, JSON och XML, för att nämna några.
Scrapy är en av många anledningar till varför Python är det bästa programmeringsspråket för alla som gillar webbskrapning. Konfigurera ditt första Scrapy-projekt kan ta lite tid, speciellt om du inte har erfarenhet av Python-klasser och ramverk. Scrapys arbetsflöde är uppdelat i flera filer och för nybörjare kan det framstå som oönskad komplexitet.
4. Selen
Om du vill skrapa dynamiskt, JavaScript-renderat innehåll, då är Selen vad du behöver. Som ett plattformsoberoende ramverk för webbtestning hjälper Selenium dig att rendera HTML, CSS och JavaScript och extrahera det som krävs. Du kan också efterlikna verkliga användarinteraktioner genom att hårdkoda tangentbords- och musåtgärder, vilket är en komplett spelväxlare.
Selen skapar en webbläsarinstans med hjälp av webbdrivrutinen och laddar sidan. Några populära webbläsare som stöds av Selenium är Google Chrome, Mozilla Firefox, Opera, Microsoft Edge, Apple Safari och Internet Explorer. Den använder CSS- och XPath-lokaliserare, liknande Scrapy-väljare, för att hitta och extrahera innehåll från HTML-element på sidan.
Om du inte har erfarenhet av Python men kan andra programmeringsspråk kan du använda Selenium med C#, JavaScript, PHP, Perl, Ruby och Java.
Den enda begränsningen är eftersom Selenium startar en webbläsare i bakgrunden, resurserna som krävs för att köra skrapan ökar avsevärt, i jämförelse med Scrapy eller Beautiful Soup. Men med tanke på de ytterligare funktioner som Selen ger till bordet är det helt berättigat.
5. urllib
Python urllib-biblioteket är ett enkelt men viktigt verktyg att ha i din webbskrapningsarsenal. Det låter dig hantera och bearbeta webbadresser i dina Python-skript.
En lämplig praktisk tillämpning av urllib är URL-ändring. Tänk på att du skrapar en webbplats med flera sidor och behöver ändra en del av webbadressen för att komma till nästa sida.
urllib kan hjälpa dig att analysera URL: en och dela upp den i flera delar, som du sedan kan ändra och ta bort för att skapa en ny URL. Även om det kan verka som en överdrift att använda ett bibliotek för att analysera strängar, är urllib en livräddare för människor som kodar webbskrapor för skojs skull och inte vill ge sig in i datastrukturerna.
Om du vill undersöka en webbplatss robots.txt, som är en textfil som innehåller åtkomstregler för Googles sökrobot och andra skrapor, kan urllib också hjälpa dig med det. Det rekommenderas att du följer en webbplatss robots.txt och bara skrapar de sidor som är tillåtna.
6. JSON-, CSV- och XML-bibliotek
Eftersom Beautiful Soup eller Selenium inte har inbyggda funktioner för att exportera data, skulle du behöva ett Python-bibliotek för att exportera data till en JSON, CSV eller XML-fil. Lyckligtvis finns det en uppsjö av bibliotek du kan göra för att uppnå detta, och de mest grundläggande rekommenderas, nämligen json, csv och xml för JSON-, CSV- respektive XML-filer.
Sådana bibliotek låter dig skapa en fil, lägga till data till den och sedan exportera filen till din lokala lagring eller fjärrserver.
7. Mekanisk Soppa
Mekanisk soppa? Är detta en billig Beautiful Soup ripoff? Nej. Inspirerad av Mekanisera och baserat på Python-förfrågningar och Beautiful Soup, hjälper MechanicalSoup dig att automatisera mänskligt beteende och extrahera data från en webbsida. Du kan överväga det halvvägs mellan Beautiful Soup och Selen. Den enda fångsten? Den hanterar inte JavaScript.
Även om namnen är lika, är MechanicalSoups syntax och arbetsflöde extremt olika. Du skapar en webbläsarsession med MechanicalSoup och när sidan laddas ner använder du Beautiful Soups metoder som hitta() och hitta alla() för att extrahera data från HTML-dokumentet.
En annan imponerande funktion hos MechanicalSoup är att den låter dig fylla i formulär med hjälp av ett skript. Detta är särskilt användbart när du behöver ange något i ett fält (till exempel ett sökfält) för att komma till sidan du vill skrapa. MechanicalSoups förfrågningshantering är magnifik eftersom den automatiskt kan hantera omdirigeringar och följa länkar på en sida, vilket sparar dig ansträngningen att manuellt koda en sektion för att göra det.
Eftersom det är baserat på Beautiful Soup, finns det en betydande överlappning i nackdelarna med båda dessa bibliotek. Till exempel ingen inbyggd metod för att hantera datautmatning, proxyrotation och JavaScript-rendering. Det enda problemet med Beautiful Soup som MechanicalSoup har åtgärdat är stöd för hantering av förfrågningar, vilket har lösts genom att koda ett omslag för Python-förfrågningsbiblioteket.
Webbskrapning i Python blev enklare
Python är ett kraftfullt programmeringsspråk för att skrapa webben, utan tvekan, men de verktyg som används är bara en del av problemet. Det mest framträdande problemet människor möter när de kodar en skrapa är att lära sig HTML-dokumenthierarki.
Att förstå strukturen på en webbsida och veta hur man snabbt kan hitta ett element är ett måste om du vill utveckla avancerade webbskrapor.
