Archives for posts with tag: data

Hur har allmännyttan i Stockholms stad förändrats de senaste åren? Jag har analyserat fastighetsförteckningar från de kommunala bostadsbolagen Svenska Bostäder, Stockholmshem och Familjebostäder mellan 2007 och 2013.

Sedan 2007 har allmännyttan minskat från 97 933 till 70 094 hyresrätter. Det är en minskning med 27 839 hyresrätter eller 28 procent. Under denna period försvann flest hyresrätter år 2007, då minskningen var 9 740 lägenheter.

Per bolag så står Svenska Bostäder för den största minskningen av hyresrätter, minus 41 procent mellan 2007 och 2013. Under samma period har Stockholmshem minskat sitt bostadsbestånd med 21 procent och Familjebostäder med 14 procent.

diff

Förutom att visa alla fastigheter på kartan år för år, hade jag även en tanke om att det skulle vara intressant att visa endast nyproduktion och försäljningar, det vill säga förändringen mellan två år.

Det jag ville göra var alltså att jämföra filerna för två år i taget, till exempel 2013 och 2012, och på något sätt få fram de fastigheter som bara finns med i en av filerna. De fastigheter som finns med 2013, men inte 2012, är nytillkomna fastigheter. De fastigheter som finns med 2012, men inte 2013, är fastigheter som sålts under året.

Jag testade dessa kommandon i terminalen:

cat 2012 2013 |cut -f1 |sort|uniq -u > list

while read line ;do cat 1 2|grep “$line”;done < list > diff

Det första kommandot kopplar först ihop de två filerna (cat), plockar ut kolumn ett (fastighetsbeteckning), sorterar kolumnen och plockar ut de unika raderna och skickar till filen list. Filen list innehåller alltså fastighetsbeteckningarna för de fastigheter som jag vill få fram.

För att även få med information som byggår och adress för fastigheterna krävs en till manöver. Det andra kommandot läser filen list rad för rad och hittar motsvarande fastighetsbeteckningar i den ihopslagna filen. All information som hör till fastigheten plockas ut och skickas till filen diff.

Här finns kartan som jag gjorde med dessa filer.

Jag har gjort två kartor över allmännyttan i Stockholms stad 2007-2013. Här följer en arbetsbeskrivning.

Insamling av data

Kartorna bygger på fastighetsförteckningar från bostadsbolagens årsredovisningar. Årsredovisningarna finns att ladda ner i pdf-format på respektive bolags hemsida. Jag använde mig av programmet pdftk för att “klippa ut” de sidor jag ville ha från årsredovisningen, det vill säga endast fastighetsförteckningen.

Programmet körs i terminalen på Linux, och jag använde följande kommando:
pdftk arsredovisning.pdf cat 34-46 output fastighetslista.pdf

Det säger åt pdftk att ta ut sidorna 34-46 från filen arsredovisning och skriva ut till en ny fil, fastighetslista. Med hjälp av sidan Cometdocs omvandlade jag sedan pdf-filerna till xls-filer.

Städning av data

Xls-filerna krävde en hel del städning. Jag använde Open Refine för att bland annat ta bort onödiga kolumner och text. I Libre Office Calc lade jag till kolumner som saknades och skapade ett fullständigt adressfält. Till sist slog jag ihop filerna från de olika bostadsbolagen till en enda fil för varje år. Resultatet blev sju filer med cirka 1500 rader i varje.

I Libre Office Calc var formeln VLOOKUP till väldigt stor hjälp. I två av fastighetsförteckningarna fanns det inga gatunummer, utan bara gatunamn. Genom VLOOKUP kunde jag “hämta” många adresser från ett annat års förteckning. Sedan kompletterade jag de adresser som inte fanns med där genom att söka på nätet.

Geokodning

Först installerade jag ett litet script i Google Docs Spreadsheet, enligt instruktioner på denna sida: http://schoolofdata.org/handbook/recipes/geocoding/. Det klarade inte att geokoda alla adresser.

I ett senare läge visade det sig också att det gav samma koordinater till adresser med samma gata, fast olika gatunummer. Det ledde till ett stort fel på kartan, eftersom flera fastigheter blev en och samma punkt. Därför använde jag även gpsvisualizer.com/geocoder för många av adresserna.

Visualisering

Kartan är gjord med hjälp av OpenLayers, som är ett open source Javascript-bibliotek för att skapa kartor. Jag kopierade koden på denna länk: http://wiki.openstreetmap.org/wiki/Openlayers_POI_layer_example och sparade xls-filerna som csv-filer enligt mallen på samma sida.

total

Under våren 2014 gick jag en kurs i datajournalistik på Södertörns högskola. Som slutprojekt ville jag undersöka hur allmännyttan i Stockholm ser ut idag och vid ett antal tidpunkter längre tillbaka i tiden genom att visualisera det på en karta.

Resultatet blev två kartor som visar alla fastigheter med hyresrätter hos de kommunala bostadsbolagen Svenska Bostäder, Familjebostäder och Stockholmshem uppdelat på år.

Den första kartan visar hur det såg ut i början och slutet av den undersökta perioden. 2013 fanns de blåa fastigheterna i allmännyttan och 2007 de röda. Den andra kartan visar alla år mellan 2007 och 2013. Läs mer om kartorna här.

Freeing the Plum Book

Artikel om hur New York Times lyckats frigöra datan från mobilversionen av The Plum Book, en bok som ges ut varje år av senaten eller representantshuset.

How to verify information from tweets: Check it out

Tips om hur man värderar informationen i tweets.

Introducing FreeDive: A Simple Solution for Creating Searchable Databases

Om FreeDive, ett verktyg för att göra om Google spreadsheets till sökbara databaser utan någon programmering.

New YouTube playlist of investigative journalism videos

Spellista på Youtube med intervjuer med journalister.

Datajournalistik och Centerpartiet

Richard Öhrvall analyserar på bloggen Politologerna ett DN-reportage om Centerpartiet.

How to make your live tweeting of an event indispensible for readers

Tips och goda exempel på direktrapportering med Twitter.

All our datasets: the complete index

Guardian Datablog har publicerat hundratals dataset sedan starten 2009. Här finns alla samlade.

How-to: Scraping ugly HTML using “regular expressions” in an Outwit Hub scraper

Utdrag ur boken “Scraping for Journalists”av Paul Bradshaw om regular expressions.

Här är några av de bästa journalistiklänkarna som jag läste i förra veckan.

The story of a suicide

I tidningen New Yorker undersöker Ian Parker förhållandet mellan studenterna Tyler Clementi och Dharun Ravis. Dharun Ravi står åtalad för att ha drivit rumskamraten Tyler Clementi till självmord genom att ha sett Clementi ha sex med en kille via en webbkamera i deras rum och senare tweetat om händelsen. Artikeln ger en ordentlig bakgrund och problematisering av händelsen.

Tyrieshia Douglas: Boxing is my mother and my father

Jay Rosen tipsar på sin blogg om “ett av de briljantaste radioinslag som han någonsin hört” och uppmanar läsarna att det är värt att lägga åtta minuter av sin tid på det. Jag håller med!

Command line crash course

Är du också rädd för terminalen? Tror du att du kommer att förstöra datorn om du använder den? Jag hittade den här perfekta html-boken som går att jobba sig igenom på några kvällar.

New guidelines for officials provide handbook for journalists on how to get around FoI delays

Tips på argument för att få ut handlingar genom Freedom of Information Act från Press Gazettes blogg The Wire.

10 essential tools for data analysis and visualisation

Första delen i en serie på datadrivenjournalism.net. Serien ska samla de viktigaste, effektivaste och mest användbara datavisualiseringskällorna.

Guidance for journalists working with whistleblowers

Saker som man ska tänka på om man arbetar med “whistleblowers”. Skrivet av en person som själv agerat “whistleblower”.

Covert drone war

The Bureau of Investigative Journalisms undersökning av USA:s hemliga drönarkrig.