Gör datavetenskap i molnet med ScraperWiki

Annons

Om du har mentala kotletter, en känsla för programmering och berättelse och ett öga för design, kan du göra värre än att gå in i datavetenskap. Det är den nya stora saken inom teknik; mycket trendiga och högt betalda, med datavetare som söks av några av de största företagen i världen.

ScraperWiki är ett företag som länge har kopplats till datavetenskapsfältet. Under de senaste åren har denna Liverpool-baserade startup erbjudit en plattform för kodare att skriva verktyg som får data, rengöra och analysera det i molnet.

Med en ny uppdatering och den ständigt ökande efterfrågan på datavetare i företaget är det värt att ta en titt på ScraperWiki.

Fullständig avslöjande: Jag var praktikant på ScraperWiki förra sommaren.

Vad gör ScraperWiki?

ScraperWiki marknadsför sig själv som en plats att få, rengöra och analysera data, och den levererar på vart och ett av dessa räkningar. I sin enklaste form tillåter det dig - användaren - en plats där du kan skriva kod som hämtar data från en källa, verktyg för att konvertera det till ett format som är lätt att analysera och lagra för att behålla det för senare visualisering - som du också kan hantera med ScraperWiki.

Det kommer också med ett antal förbyggda verktyg som automatiserar upprepade uppgifter, inklusive hämta data från PDF-filer, som är notoriskt svåra att avkoda. Detta är utöver Twitter-sökning 5 coola Twitter-söktrick för att övervaka vad folk säger om digOm du äger en webbplats eller bara försöker tjäna pengar online som frilansare är det alltid bra att veta vad folk säger om dig via Internet. Människor citerar ... Läs mer och skrapverktyg. Du behöver ingen erfarenhet av mjukvaruutveckling för att använda dessa.

Kosta

Som tidigare nämnts omfattar ScraperWiki freemium-prismodellen och erbjuder en tjänst som har flera nivåer. De som just har kommit igång med datavetenskap eller med begränsade behov kan använda sig av gratistjänsten. Detta ger dig tre datasätt - där du lagrar dina data och kod.

De som planerar att skriva flera skrapor eller vill göra berg av dataanalys kan dela ut lite kontanter för ett premiumkonto. Dessa börjar på $ 9 per månad och erbjuder 10 datasätt. Om det fortfarande inte räcker kan du alltid uppgradera till deras högsta nivå som levereras med 100 datasätt och kostar $ 29 per månad.

Kodning

Programmerare är ofta ganska speciella när det gäller hur de kodar. Vissa föredrar skriptspråk framför sammanställda språk. Vissa föredrar en pared-back upplevelse av en textredigerare framför en integrerad utvecklingsmiljö (IDE). ScraperWiki känner igen det och ger användaren en enorm mängd val när det gäller hur du skriver din kod.

Om du är så benägen kan du skriva din kod i webbläsaren. Som du kan förvänta dig av alla yrkesklass, webbaserad De tre bästa webbläsarbaserade IDE: erna för att koda i molnet Läs mer utvecklingsverktyg, detta kommer med funktioner som alla programmerare anser vara väsentliga, såsom syntaxbelysning.

Det finns ett antal språk som erbjuds. Dessa inkluderar Pytonorm De 5 bästa webbplatserna för att lära sig Python-programmeringVill du lära dig Python-programmering? Här är de bästa sätten att lära sig Python online, av vilka många är helt gratis. Läs mer , ett populärt manusspråk som används av Google och NASA. Rubin 3 interaktiva, roliga, fria sätt att börja lära sig Ruby-programmeringsspråketRuby är ett uttrycksfullt, skriptspråk på mycket hög nivå. Det används på webben främst som en del av Ruby on Rails webbutvecklingsram, men också fristående. Om du är nyfiken på vad Ruby (inte ... Läs mer , som driver ett antal populära webbplatser som Living Social; och det populära statistiska analysspråket, R.

Dessutom kan du också skriva kod från kommandoraden med SSH, Git och vilken textredigerare du gillar att använda. Ja, du läste rätt. SSH Vad SSH är och hur det skiljer sig från FTP [Technology Explained] Läs mer . Varje ruta du använder är sitt eget Linux-konto och du kan ansluta till det på samma sätt som ett VPS eller något annat shell-konto. Det finns ett antal textredigerare tillgängliga, inklusive vim De 7 främsta orsakerna till att ge Vim Text Editor en chansI flera år har jag provat den ena textredigeraren efter den andra. Namnlösa, jag försökte det. Jag använde var och en av dessa redaktörer i över två månader som min primära dagliga redaktör. På något sätt ... Läs mer som kan utökas med plugins och genom att redigera konfigurationen. De som skrämmas av Vim kan använda Nano, som är en lätt redigerare för kommandoradstekst.

De installerade biblioteken bör vara tillräckliga för att skriva verktyg för att hämta data och bearbeta dem. Om du behöver något mer otydligt kan du alltid skapa en virtualenv från kommandoraden. Som ni ser finns det en enorm mängd flexibilitet som utvecklarna ger.

Datavisualisering

Så du har dina data. Du har normaliserat det. Du har rengjort den. Du har analyserat det. Nu är det dags att göra lite visualisering och visa världen vad du har lärt dig.

ScraperWiki gör det möjligt för utvecklare att visa sina data med hjälp av webbsidor som är konstruerade från den allbekanta trifekta av HTML, CSS och JavaScript. Dessutom stöds Bootstrap-komponenter ur rutan.

Det finns ett antal förgjorda visualiseringar tillgängliga, inklusive sådana som plottar dina data på en karta och hittar trender inom dina resultat. För att använda dessa måste du se till att dina data lagras som SQLite-fil med filnamnet ‘scraperwiki.sqlite’. Sedan lägger du bara till den visualisering som du är intresserad av. Enkelt, eller hur?

Slutsats

ScraperWiki erbjuder mycket till utvecklare som vill göra en viss dataanalys utan att deras utvecklingsmiljö kommer i vägen, samtidigt som de har flexibilitet att glädja även de mest krävande av användare. Men vad tror du? Låt mig veta i kommentarerna nedan.
Fotokredit: Rocket Science (Dan Brown)