Sedan 2007 har allmännyttan minskat från 97 933 till 70 094 hyresrätter. Det är en minskning med 27 839 hyresrätter eller 28 procent. Under denna period försvann flest hyresrätter år 2007, då minskningen var 9 740 lägenheter.

Per bolag så står Svenska Bostäder för den största minskningen av hyresrätter, minus 41 procent mellan 2007 och 2013. Under samma period har Stockholmshem minskat sitt bostadsbestånd med 21 procent och Familjebostäder med 14 procent.

Förutom att visa alla fastigheter på kartan år för år, hade jag även en tanke om att det skulle vara intressant att visa endast nyproduktion och försäljningar, det vill säga förändringen mellan två år.

Det jag ville göra var alltså att jämföra filerna för två år i taget, till exempel 2013 och 2012, och på något sätt få fram de fastigheter som bara finns med i en av filerna. De fastigheter som finns med 2013, men inte 2012, är nytillkomna fastigheter. De fastigheter som finns med 2012, men inte 2013, är fastigheter som sålts under året.

Jag testade dessa kommandon i terminalen:

cat 2012 2013 |cut -f1 |sort|uniq -u > list

while read line ;do cat 1 2|grep “$line”;done < list > diff

Det första kommandot kopplar först ihop de två filerna (cat), plockar ut kolumn ett (fastighetsbeteckning), sorterar kolumnen och plockar ut de unika raderna och skickar till filen list. Filen list innehåller alltså fastighetsbeteckningarna för de fastigheter som jag vill få fram.

För att även få med information som byggår och adress för fastigheterna krävs en till manöver. Det andra kommandot läser filen list rad för rad och hittar motsvarande fastighetsbeteckningar i den ihopslagna filen. All information som hör till fastigheten plockas ut och skickas till filen diff.

Här finns kartan som jag gjorde med dessa filer.

Insamling av data

Kartorna bygger på fastighetsförteckningar från bostadsbolagens årsredovisningar. Årsredovisningarna finns att ladda ner i pdf-format på respektive bolags hemsida. Jag använde mig av programmet pdftk för att “klippa ut” de sidor jag ville ha från årsredovisningen, det vill säga endast fastighetsförteckningen.

Programmet körs i terminalen på Linux, och jag använde följande kommando:
pdftk arsredovisning.pdf cat 34-46 output fastighetslista.pdf

Det säger åt pdftk att ta ut sidorna 34-46 från filen arsredovisning och skriva ut till en ny fil, fastighetslista. Med hjälp av sidan Cometdocs omvandlade jag sedan pdf-filerna till xls-filer.

Städning av data

Xls-filerna krävde en hel del städning. Jag använde Open Refine för att bland annat ta bort onödiga kolumner och text. I Libre Office Calc lade jag till kolumner som saknades och skapade ett fullständigt adressfält. Till sist slog jag ihop filerna från de olika bostadsbolagen till en enda fil för varje år. Resultatet blev sju filer med cirka 1500 rader i varje.

I Libre Office Calc var formeln VLOOKUP till väldigt stor hjälp. I två av fastighetsförteckningarna fanns det inga gatunummer, utan bara gatunamn. Genom VLOOKUP kunde jag “hämta” många adresser från ett annat års förteckning. Sedan kompletterade jag de adresser som inte fanns med där genom att söka på nätet.

Geokodning

Först installerade jag ett litet script i Google Docs Spreadsheet, enligt instruktioner på denna sida: http://schoolofdata.org/handbook/recipes/geocoding/. Det klarade inte att geokoda alla adresser.

I ett senare läge visade det sig också att det gav samma koordinater till adresser med samma gata, fast olika gatunummer. Det ledde till ett stort fel på kartan, eftersom flera fastigheter blev en och samma punkt. Därför använde jag även gpsvisualizer.com/geocoder för många av adresserna.

Visualisering

Kartan är gjord med hjälp av OpenLayers, som är ett open source Javascript-bibliotek för att skapa kartor. Jag kopierade koden på denna länk: http://wiki.openstreetmap.org/wiki/Openlayers_POI_layer_example och sparade xls-filerna som csv-filer enligt mallen på samma sida.

Under våren 2014 gick jag en kurs i datajournalistik på Södertörns högskola. Som slutprojekt ville jag undersöka hur allmännyttan i Stockholm ser ut idag och vid ett antal tidpunkter längre tillbaka i tiden genom att visualisera det på en karta.

Resultatet blev två kartor som visar alla fastigheter med hyresrätter hos de kommunala bostadsbolagen Svenska Bostäder, Familjebostäder och Stockholmshem uppdelat på år.

Den första kartan visar hur det såg ut i början och slutet av den undersökta perioden. 2013 fanns de blåa fastigheterna i allmännyttan och 2007 de röda. Den andra kartan visar alla år mellan 2007 och 2013. Läs mer om kartorna här.

Jag har gjort en lokal ytmönsterkarta med data från valmyndigheten. Det är en uppgift för en kurs i datajournalistik på Södertörns högskola, som jag går under våren.

Artikel om hur New York Times lyckats frigöra datan från mobilversionen av The Plum Book, en bok som ges ut varje år av senaten eller representantshuset.

How to verify information from tweets: Check it out

Tips om hur man värderar informationen i tweets.

Introducing FreeDive: A Simple Solution for Creating Searchable Databases

Om FreeDive, ett verktyg för att göra om Google spreadsheets till sökbara databaser utan någon programmering.

New YouTube playlist of investigative journalism videos

Spellista på Youtube med intervjuer med journalister.

Datajournalistik och Centerpartiet

Richard Öhrvall analyserar på bloggen Politologerna ett DN-reportage om Centerpartiet.

How to make your live tweeting of an event indispensible for readers

Tips och goda exempel på direktrapportering med Twitter.

All our datasets: the complete index

Guardian Datablog har publicerat hundratals dataset sedan starten 2009. Här finns alla samlade.

How-to: Scraping ugly HTML using “regular expressions” in an Outwit Hub scraper

Utdrag ur boken “Scraping for Journalists”av Paul Bradshaw om regular expressions.

Lyssna till NRK-dokumentären “My Share of the Sky.

8 Tips for Twitter Lists

Nina L. Diamond tipsar på Poynter om hur man kan använda listor på Twitter.

Integrating Data Journalism into Newsrooms

Rapport skriven av Michael Zanchelli och Sandra Crucianelli

A Great Big List of FOI Ideas

Claire Miller har satt ihop en lista med 500 idéer till uppslag.

How-to: Mapping Planning Applications

Blogginlägg på The Help Me Investigate Blog.

Plunging Into History, ett projekt i muntlig historia i London som jag var involverad i, har nu lanserats som bok och hemsida. Jag har skrivit två av texterna i boken och även gjort flera intervjuer. Intervjuerna finns att lyssna på på hemsidan:

• Kirsteen Knight
• Mabel Crook
• Brenda Humphreys
• David Garrard
• Tom Mannion

Läs hans essäer, romaner och reportageböcker.

Linkedin

Några tips finns att hämta från Linkedins egen guide för journalister. Poynter har listat tio sätt för reportrar att använda Linkedin för att hitta källor och följa förändringar i företag.

Twitter

Twitter har också en egen guide för journalister och Knights Digital Media Center har gjort en omfattande guide för nybörjare. Mer avancerade tips finns i guiderna från Poynter, Insite och Steve Buttry.

För att söka efter tweets kan man använda Twitters vanliga sökfunktion eller den avancerade sökfunktionen. Twitter har även sökoperatorer som kan förbättra sökningen. För att hitta tweets som är äldre än en vecka kan man använda Topsy. När man är inloggad på Twitter kan man spara sökningarna som man gör.

Google+

Mashable skriver om fem sätt journalister använder Google+ på. De har även en lång guide till hur det fungerar.

Facebook

Knights Digital Media Center har en ordentlig guide även för Facebook och på den här Facebook-sidan finns ännu fler tips för journalister. Poynter skriver om vad journalister måste veta om den nya Subscribe-funktionen.

Men det ni inte får missa är att läsa om hur Josephine Freje Simonsson och Linnea Hambe använder till exempel Facebook och Twitter för att göra research “undercover”. Se även deras föreläsning från Gräv 11.