Tjäna pengar utan att jobba med adsense och tumblr

För några nätter sedan fick jag idén till ett litet experiment (the Quotes Project). Det gick ut på att jag skulle skrapa en citat-sida och publicera dessa på en tumblr-blogg kopplat till ett twitter-konto med 1 timmas mellanrum, sedan koppla på sociala element så som like-knappar och +1-knappar, för att till sist slänga på AdSense. Vad jag är ute efter här är att se hur mycket trafik som går att dra, varifrån den kommer, samt hur mycket pengar man kan tjäna, utan att spendera en enda krona och med väldigt lite arbete (ännu mindre om man laddar ner källkoden till min scraper och använder den).

Först behövde jag citat. För detta skrev jag en scraper som laddar ner alla citat från en väldigt stor citatsida (mycket skräp måste jag dock säga, eller ja, det mesta är skräp). När jag skrev denna scraper stötte jag på flera problem.

I mitt första försök så drog jag innehållet direkt från sidan till tumblr. Det tyckte tumblrs API inte om så jag fick följande felmeddelande.

Då skapade jag en sqlite3 databas där jag mellanlagrade citaten innan publicering på tumblr.

Problemet var då att det skulle ta över 550 timmar att ladda ner alla 2 000 000+ citat och att jag fick en hel uppsjö av olika felmeddelande under scrapandets gång gjorde ju inte att det gick snabbare.

Först skapade jag en funktion i mitt script som scrapade med en offset så de gick att köra flera instanser av samma script i olika terminal fönster. Jag startade upp fem instanser och insåg att 110+ timmar var fortfarande alldeles för lång tid och jag hade redan fullt upp att hålla koll på dessa fönster och fel meddelande så starta upp fler var inget alternativ. Därför valde jag att köra programmet på flera trådar, så scriptet skrevs om och 100 instanser startades upp. Fem timmar, härligt snart klar… Nytt problem, den här gången var det sqlite3 som inte ville vara med. Efter lite testande visade det sig att 7-13 trådar var vad som fungerade bäst med mitt script.

Efter att ha scrapeat 565000+ citat insåg jag att 365 * 24 = 8760 nog var tillräckligt så jag la ner det.

Dags att ladda upp till tumblr. Detta var mycket enklare, funktionen som laddar upp hade jag ju redan så det var bara att köra. Jag vet inte varför jag fick “Slow down there buddy” -meddelandet tidigare för den här gången gick det inte fort, ca 1 sekund per citat jag ville lägga i kön. 2.4 timmar, oacceptabelt! Så dags att skriva om scriptet igen, fler trådar och för att inte springa in i det där “Slow down there buddy”-meddelandet igen skrevs det in en sleep funktion som skulle hoppa in lite då och då och stoppa trådarna. Scriptet var klart efter ett tag, och funktionen var acceptabel, fast då märker jag att man endast får ha 301 posts i kö hos tumblr, sedan började man få “Bad request”-meddelanden. Så ännu lite jobb i onödan. Jag valde senare att förenkla “ladda upp till tumblr”-funktionen igen för att den skulle bli stabilare. Kommer nog även slänga upp den på heroku med en cron som körs med jämna mellanrum, för att jag skulle behöva komma ihåg att köra ett script på min dator var 12e dag låter som ett otroligt ansvar och alldeles för mycket jobb, fast det blir lite längre fram.

Det som saknas nu är de sociala elementen och adsense för analytics är redan på plats, och det kommer i nästa inlägg.

Källkoden till den scraper jag skrev finner du på github.