Nytt scrape-script

Eftersom det var så fruktansvärt dålig kvalité på citaten från den första sidan skrev jag om scriptet så det hämtar datan från en annan sida. Antalet citat gick från drygt två miljoner till lite över 6000, fast antalet bra citat är nog det samma. 

Den här gången så gjorde jag det även lite enklare för andra att köra mitt script, nu är det bara ladda scriptet i irb med commandot “irb -r ./scraper.rb” och sedan skriva “go” när man är inne i irb. Då sparas allt ner i en sqlite3 databas, fint och prydligt. Vill man sedan publicera till tumblr skriver man “move to tumblr” följt av antalet citat man vill skicka upp, 301 st är default eftersom det är max som får ligga i kön, men du måste ändra till dina tumblr uppgifter inne i script-filen först.

Den nya scrapern ligger på github och glöm inte installera de gems som scriptet kräver.

   
Blog comments powered by Disqus