#qaikusourcing

Teen pieniä kokeiluja tagipilvien kanssa, myös qaikukeskusteluihin liittyen. Olen metsästänyt erilaisia ideoita visuaalisuuteen ja toimivuuteen. Onko sinulla jotain hyvä/huonoja esimerkkejä tagipilvien käytöstä?

Tässä pari artikkelia:

• http://www.smashingmagazine.com/2007/...
• http://www.joelamantia.com/tag-clouds...

Minusta nämä Wordlen kuvat on hyviä. Joissakin pilvissä ongelma on että siitä tulee liian suuri ja sitä ei skaalata oikein.

Ja pitää tietysti nostaa Codinghorrorin mainitsema blogien tyyplilinen virhe, eli kontrolloimaton tagipilvi "tag cloud visualizations are chaotic, noisy, and unusable" , mutta riippuu niin tilanteesta milloin noin on. Vähiten esiintyviä juttuja ehkä ei pitäisi tagipilvessä esittää, jottei siitä tule liian "äänekäs".

@Ile Mä tykkään tagipilvistä, koska sitä kautta saa nopeasti tarvitsemaansa infoa ajankohtaisista aiheista (lue: kannatan Qaikuunkin). Pilven tulee vaan ulkonäöllisesti olla sellainen, että siirtä irtoaa sanat ilman päävoimistelua.

Esim. qaiku-kanavat tag cloudina oikeassa marginaalissa ois upee juttu. Pikku switcheri vielä siinä yllä mistä voi valita All/Suomi/English - ja elämä voittais taas.

Jep, teen pientä kokeilua Qaiku-API:lla ja kerron kun on demoa olemassa. Nyt siis kaipailen linkkejä hyvän näköisiin tagipilviin, niin voin kopsata parhaimmista ideoita...

Ajatuksena on käyttää ainakin kirjainkokoa ja harkitusti väriä. Värillä ajattelin sitoa samaan keskusteluun liittyviä sanoja, "kuumin keskustelu" punaisella jne..

Tagipilvet ovat visuaalisesti hienoja, mutta harvoin olen nähnyt erityisen hyödyllisiä toteutuksia. Niiden käyttäminen vaatisi mielestäni huomattavasti enemmän toimittamista.

Suoraan tekstisisällöstä muodostettavat ratkaisut yleensä sisältävät liikaa hyödytöntä dataa, mutta metadatastakaan johdettavat pilvet eivät aina toimi. Tagien liittäminen tekstiin/kuvaan auttaa lukijaa nopeasti hahmottamaan mitä se sisältää ja missä kontekstissa. Näiden tagien käyttö pilvessä ei kuitenkaan anna sisältökokonaisuudesta kovin persoonallista kuvaa.

Otetaan esimerkiksi valokuvaamisesta ja etenkin mustavalkosellaisesta kertovat blogi, jossa postauksiin lisätään aihetta kuvaavia tageja. Jos tagipilivi nostaa esiin sanat "valokuvaus", "mustavalko" ja "näyttelyt", on se hyödytön, sillä nuo tiedot voidaan ilmaista jo otsikko/slogan/tagline -tasolla.

Esim. jos @marikoo:n blogin tagipilvestä poistaisi kaikki ne sanat, jotka käytännössä mainitaan ylälaidan "Blogeja, kulutusta ja tutkimusta" -taglinessa ja profiilissa/linkeissä, niin lopputulos olisi tiiviimpi ja sisällön ajankohtaisuuksia paremmin kuvaava. (esimerkki napattu viereisestä välilehdestä)

Samaten tagipilvi jää vähän hyödyttömäksi jos se katsoo liiaksi historiaan. Esimerkiksi jos jossain ajankohtaisia aiheita käsittelevässä verkkojulkaisussa syntyi 2001-2002 syntyi valtavasti aineistoa 9/11-iskuista, mutta aihetta ei enää ole käsitelty muutamaan vuoteen, ei sen näkyminen pilvessä ei ole enää välttämättä perusteltua.

Jos blogi sen sijaan käsittelee historiallisia tapahtumia, on 9/11:n painoarvon näkeminen relevanttia.

Eli:

• kaikkia pilviä pitää editoida
• Sisällöstä johdetaan sanapilviä vain silloin kun halutaan laajasta aineistosta typografisesti näyttävä suuri pilvi, jota ei käytetä navigointiin
• tagien lähteenä käytetään sisältöyksiköitä kuvaavaa metadataa, mutta siitä karsitaan kokonaisuuden kannalta itsestäänselvyydet pois ja tarvittaessa nostetaan ne sivuston vakiopaikoille
• jäljelle jäävistä karsitaan muuhun sisältöön sopimattomat satunnaisuudet pois
• arvioidaan mitä ajanjaksoa pilvi kuvaa ja onko se vanhentunut, tarvittaessa poistetaan käsin tai aikasuotimella
• painoarvoja säädetään tarvittaessa käsin, usein esiintyvä tagi voi olla relevantti, mutta sen korostaminen voi johtaa katsojaa harhaan

@erkka Mun idis (jota vielä muutama tunti pitäisi vääntää että on eka versio olemassa):

Voidaan katsoa sanapilvenä (pelkästä tekstisisällöstä, josta poistetaan kielikohtaisesti turhat sanat) kielittäin:

• Julkiset postaukset
• Jonkin kanavan postaukset
• Jonkun henkilön striimi
• Kanavanimet (tämä on vähän eri näkökulma kuin nuo kolme ekaa)

Hyvä projekti @Ile

Wkipediasta löytyy muutamia linkkejä stopword listoihin, mutta aika suppeasti. Kieltämättä luuulisi, että tämä on sen sortin kamaa, jota joku olisi kerrännyt creative commons julkaisuksi.. http://en.wikipedia.org/wiki/Stop_wor...

Mulla on yksi kaveri, joka työskentelee kieliteknologian parissa tutkijana TKK:lla, voin kysellä siltä noista stemmereistä, eli taivutusmuotojen poistosta, ilman sellaista ei taida Suomen kielen kohdalla tulla kovin selkeää sanapilveä.

@apoikola Kiitos, tuosta olisi apua. Mun tietomalli sallii sen, että sanoista voidaan laskea jokin "ID" ja ei ole niin väliä, meneekö tuonne joku vääräkin sana välillä.

Näytettäväksi voisi valita sanoista sen joka esiintyy useiten, olkoon perusmuodossa tai ei - Algoritmin ei siis tarvitse tietää sanan perusmuotoa, mutta eri tavalla taivutetut sanat pitäisi tunnistaa "todennäköisesti samaksi sanaksi". Näin vältytään kuitenkin siltä, että tagipilvessä olisi pienellä merkityksellä "Auto auton autolla autotta" kuin että siellä olisi yksi merkityksellisempi sana, jonka taivutus on nyt noista se, jota sattuu olemaan eniten.

@Ile pingaapa minua kun saat keskusteluista asiasanoja riittävästi kasaan pilveä varten. Tuon jälkeen voisimme plugata siihen kiinni Midgardin attention profilerin ja katsoa saisiko sieltä ulos kuinka hyviä "tämä keskustelu voisi kiinnostaa sinua" -suosituksia.

@bergie Ok. Jutussasi on muuten rikkinäinen linkki tuossa "is there"-kohdassa -- Tämä muuten mahdollistaisi myös vikkokirjeet emailiin tyyliin:

"Terve Ile, sinua ei ole näkyvyt viime aikoina Qaikussa. Sinua saattavat kiinnostaa seuraavat keskustelut:

<ja tähän tulisi htm-muotoiltu-pilvi josta linkit keskusteluihin omasta striimistä painotettuna + yleisestä keskustelusta pienemmällä painoarvolla>

<ja tähän muutama ote attention-profilerin arvauksista>"

@Ile tuosta värien käytöstä... Dopplr käyttää värejä kaupunkien identifiointiin. Jokaisella kaupungilla on oma värinsä jota sitten käytetään kaupungista aina kun se mainitaan. Samalla tavalla aihealueille voisi ehkä kehittää värin: tietotekniikka sininen, ympäristö vihreä tms.

Edit: linkki fiksattu

@Ile viikkokirje (tai viikkoRSS) voisi olla ihan hyvä harvaan Qaikussa käyvien aktivointiin. Jos tämä suosituslista näkyisi myös saitilla voisi ehkä säätää siinä ilmenevien ketjujen määrää jollain sliderilla: "nyt on töissä tylsää joten näytä enemmän keskusteluja" tai "nyt on kiire, vain päivän mielenkiintoisin"

@Ile Toi aktivointimaili / rss vois olla hyvä herättäjä.

@bergie Tykkään tuosta selkeästä väriajattelusta (tekniikka sininen, ympäristö vihreä jne.). Se olis ainakin mun näkökulmasta parempi kuin vaikka top-väritys. Eri asia sitten on, mitä kaikkia värialueita tulisi olla eroteltuina.

Morot, @apoikola usutti tänne vouhkaamaan stemmereistä: Suomen kielessä stemmaus on ihan pakollinen juttu jos haluaa mitään sanoja ryhmitellä.

Ilmaistoteutuksia, jotka saa parissa minuutissa käyttöön, löytyy ainakin Perlille ja Pythonille. Hakuun vain Snowball stemmer ja siihen Suomen kielen lisäpaketti. Helppo käyttää ja toimii jotenkuten Suomella. Vähemmän taipuvien kielten stemmaukseen erinomainen. Jos käsittelee automaattisesti monikielistä aineistoa, voi kielen arvata ja valita stemmeripalikan sen mukaan. Pieniä kirjainparitilastoihin perustuvia kielenarvausskriptejä löytyy googlaamalla. Lausetasolla toimivat hyvin. Miten nämä yhdessä selviävät tilanteesta, jossa avainsana on eri kieltä kuin muu teksti, siitä en osaa sanoa.

Yliopiston OMorFi-projektissa rakennellaan ilmeisesti parempaa LGPL-pohjalle eli lähdekoodi on saatavilla. Demoa voi kokeilla täällä. Kyse kuiteskin tutkimuksesta eikä tuotteistamisesta, joten tehokkuusajattelun uhrina joutuu miettimään tarkasti, onko parempi stemmaus kääntämisen ja virittelyn viemän ajan väärti.

Stopwordeja voisi yrittää kerätä laajasta aineistosta tilastollisilla menetelmillä, mutta en ole nähnyt valmista toteutusta vielä tuollaiselle, ja ei varmaan kannata ruveta ihan alkutekijöistä itse rakentamaan.

@reima Kiitos paljon! Testailin tuota OMorFI useilla vaikeilla sanoilla ja se vaikuttaa hurjan hyvältä. Ja tässä kun tähdätään "vain suuntaa-antamaan" mitä-täällä-tapahtuu tagipilveen, tuo on aivan mainio.

..ja stemmerit näyttää myös hyvältä ja riittävältä. Kuten aiemmin sanoin, ei tarvitse päästä perusmuotoon vaan tunnistaa samaa tarkoittavat sanat ja näyttää sitten pilvessä muodossa, jota oli eniten. Eli esim. "autot", "autojen", "autotta", "autolla" --> stemmeri kertoo, että on kyseessä sama sana. Mikäli teksteissä esiintyi eniten muotoa "autolla", olisi tämä sana käytössä pilvessä, mutta fonttikoko huomioisi nuo kaikki.

Tuo tilastollinen stopword voisi olla kiva ja itse asiassa helppo, liittyen siihen, mitä olen tekemässä. Voisi toimia näin:

• ajetaan softa stopwords-moodissa
• haetaan matskua qaikun julkisesta striimistä oikein isolla kädellä ilman stemmeriä
• katsotaan, mitä sanoja esiintyy erityisen monta kertaa (säädettävä raja)
• tallennetaan ko. sanat kielikohtaisille stopword-listoille, joita käytetään varsinaisilla tagipilviajoilla

@reima kieltä ei itse asiassa tarvitse arvata kun Qaikussa ne tägätään jo valmiiksi (ja se tulee myös APIssa mukana)

@bergie tagataan, jos käyttäjät tajuavat tagata... näin ei ainakaan omalla kohdallani ole käynyt

Ole hyvä vain, @Ile. OMor vaikuttaa laadullisesti ylivertaiselta. Snowballin suomen stemmauksessa on ongelma, että esim. (muistini mukaan) "kadulla" ja "katuja" antavat eri juuren - joten jotkut avainsanat voivat johtaa duplikaatteihin.

@bergie, niin, tuossa allahan nuo napit on... Jos dataa, jonka kielestä on varmuus, on saatavilla paljon, niin hyvä homma. Voittaa aina arvailun, jossa tulee muutaman prosentin heittoja.

Käytännössä kannattaa varautua siihen, että sitä koneellisesti laskettua stopword-listaa pääsee itse joka tapauksessa säätämään jälkikäteen. Automatisoidusti voi olla vaikea toteuttaa tarpeeksi laadukkaasti sitä mitä @erkka edellä esittää päällekkäisestä informaatiosta (rockclimbing.comin tagipilven suurin sanan on "climbing", olipa hyvä tietää).

[Ihan sivudetailina, tuo OMor-projekti käyttää siis tilakone-transduseria sanan juuren löytämiseen. Ollaan juuri testailtu samaan periaatteeseen pohjautuvaa puheentunnistusmallia - Lupaava kehityssuunta, mutta verkon luominen syö muistia kuin eläin, siihen minulla tuo OMorin testaileminenkin hirtti. Pitäisi kai kokeilla joskus uudestaan paremmilla resursseilla...]

@reima Huomasin että ei tuo stemmeri mikään täydellinen ole, mutta hurjan hyvä parannus ideaan. Ja mulla on stemmerit jo n. 10 kielelle, joista aloitan harjoitukset noilla kolmella. Nopea se on, eli saan kyllä tehtyä reaaliaikaisen tagipilven. OMor varmaan vaatisi paikallisen tietokannan, johon noita sanojen perusmuotoja taustaprosessina työnnettäisiin sitä mukaa kun sisällöstä ilmenee uusia sanoja.

ping @bergie @reima

Nyt softani hakee julkisia qaikuja (helposti myös kanavia jne.) halutulta aikaväliltä. Niistä stemmaillaan sanat ja sortataan yleisyyden mukaan. Alkuun tulee noita "stopwordeja", joista voisi tehdä erillisen tiedoston tai sitten vaan sääntö, että yli XX esiintymää/postaus on "yleissana".

Laitan tähän vähän generoidun sanajoukon alkua. Kukin rivi siis edustaa potentiaalista yhtä tagipilven sanaa. Ekana on stemmed-sanan esiintymämäärä+stemmedversio sanasta. Sitten tulee sanan erilaiset esiintymismuodot määrineen. Ajatus olisi laittaa näistä yleisin muoto pilveen. Ja kuten näkyy, stemmaus ei ole täydellinen, mutta pilveä varten varmaan good-enough.

Tämä matsku on vähän liian pienestä pätkästä historiaa... Eka oma tuomio: Kyllä tätä harjoitusta kannattaa jatkaa...

76;on;67;on;4;onko;2;onni;1;onpa;1;onnin;1;onnia
64;ja;64;ja
30;et;26;että;1;et;1;ett;1;etten;1;etsi
28;ei;28;ei
24;http;24;http
22;niin;22;niin
20;mut;15;mutta;3;mut;1;mutt;1;mutten
18;se;18;se
17;nyt;17;nyt
16;jos;10;jos;3;jossa;3;jossain
16;kyl;15;kyllä;1;kyl
15;en;11;en;4;ennen
14;ww;14;www
14;hyvä;8;hyvää;5;hyvä;1;hyvähän
14;ole;9;ole;5;olen
13;com;13;com
13;iha;11;ihan;1;ihaan;1;ihana
12;sit;11;sitten;1;sit
12;oli;8;oli;4;olisi
12;mä;12;mä
11;kun;11;kun
11;vielä;9;vielä;1;vieläkään;1;vieläkin
10;kaik;5;kaikki;2;kaikkea;2;kaikissa;1;kaikkia
10;tai;10;tai
9;viiks;6;viikset;1;viiksissä;1;viiksille;1;viiksi
9;ol;3;olin;3;olla;2;ollille;1;ollaan
9;qaiku;4;qaiku;2;qaikulla;2;qaikun;1;qaikussa
8;jota;7;jotain;1;jota
7;niitä;6;niitä;1;niitäkin
7;koo;5;koko;2;kokonaan
7;mul;4;mulle;2;mulla;1;multa
7;täs;6;tässä;1;tästä
7;palj;7;paljon
7;joka;6;joka;1;jokaista
7;voi;7;voi
7;vain;7;vain
7;d;7;d
7;kan;7;kanssa
6;ehk;6;ehkä
6;php;6;php
6;etherpad;5;etherpad;1;etherpadin
6;fi;6;fi
6;ollu;6;ollut
6;tuos;5;tuossa;1;tuosta
6;jo;6;jo
6;minu;3;minun;1;minut;1;minua;1;minulla
6;kosk;4;koska;2;koskaan
6;voisi;6;voisi
6;tehd;5;tehdä;1;tehdään
6;hieno;4;hieno;2;hienoa
6;palvelu;2;palveluissa;1;palveluiden;1;palveluista;1;palveluita;1;palveluina
6;sen;5;sen;1;sentään
6;joku;6;joku
6;tekst;1;tekstinä;1;tekstin;1;tekstien;1;tekstiksi;1;tekstit;1;tekstiä
6;kuin;6;kuin
5;asia;2;asian;1;asiassa;1;asiaan;1;asiasta
5;yle;3;yleensä;2;yle
5;siis;5;siis

Tässä englanninkielisen pilven aineistoa, johon on sovellettu pientä stopwords-listaa. Niinkuin näkyy, englanniksi keskustelu on tekniikkaa, eka off-the-tekniikka-sana on "santa" ;-)

19;test;10;test;5;testing;4;tests
17;need;15;need;2;needs
17;work;11;work;4;working;1;worked;1;works
16;php;16;php
15;just;15;just
15;memori;15;memory
14;ja;14;ja
13;tr;13;tr
13;im;13;im
13;leak;8;leaks;4;leak;1;leaking
12;bit;12;bit
11;@piotra;11;@piotras
11;use;4;use;3;using;3;used;1;uses
11;time;11;time
11;python;11;python
10;want;8;want;2;wanted
10;write;6;writing;4;write
10;&;10;&
10;@bergi;10;@bergie
9;bug;5;bugs;4;bug
9;vala;9;vala
9;look;4;looks;3;looking;1;look;1;looked
8;@tepheikk;8;@tepheikk
8;ok;8;ok
8;ly;8;ly
8;twitter;8;twitter
8;@indeyet;8;@indeyets
7;problem;5;problem;2;problems
7;new;7;new
7;midgard;7;midgard
7;i'm;7;i'm
7;think;6;think;1;thinking
7;object;6;objects;1;object
7;make;6;make;1;making
7;drive;4;drive;3;driving
7;creat;3;create;3;created;1;creating
7;se;7;se
7;fix;3;fixes;3;fix;1;fixed
7;santa;7;santa
7;;7;
6;run;5;run;1;running
6;code;6;code
6;;;6;;
6;check;4;check;2;checking
6;case;5;case;1;cases
6;read;3;read;3;reading
6;know;6;know
6;releas;3;released;3;release
6;it';6;it's
6;search;4;search;2;searches
5;partit;4;partitions;1;partition
5;bind;5;bindings
5;say;4;say;1;saying
5;don't;5;don't
5;miss;2;miss;2;missing;1;missed
5;niin;5;niin
5;org;5;org
5;manag;4;management;1;managed
5;3d;5;3d
5;like;5;like
5;w;5;w
5;day;4;day;1;days
5;i'll;5;i'll
5;qaiku;5;qaiku
5;report;4;reported;1;reports
5;tri;3;try;2;trying
5;että;5;että
5;10;5;10
5;core;5;core
5;1;5;1
5;bau;5;bau
5;function;3;function;1;functions;1;functionality
5;set;4;set;1;sets
5;ikea;5;ikea
5;final;4;finally;1;finalize
4;thing;3;things;1;thing
4;i'v;4;i've
4;watch;2;watched;1;watch;1;watching
4;issu;3;issues;1;issue
4;there';4;there's
4;gda;4;gda
4;jne;4;jne
4;doesn't;4;doesn't
4;project;2;project;2;projects
4;3;4;3
4;file;2;files;1;file;1;filing
4;tweet;2;tweet;1;tweets;1;tweeting

Hyvä alku. Dataa vain aivan liian vähän. Kannattaisi mahdollisuuksien mukaan käyttää laajoja tekstiaineistoja (mielellään miljoonia sanoja vaihtelevista lähteistä), joista haaviin jäisi oikein kunnolla kielen "liian tavalliset" sanat. Lopullista toteutusta miettiessä voi vaikka Gutenberg-projektista hakea pohjalle vähän testiaineistoa.

PHP:n esiintyminen 4. yleisimpänä sanana englanninkielisessä aineistossa jo kertoo, että tekstiotos on vääristynyt.

Jep, enkkua on Qaikussa liian vähän.
Löysin myös bugin koodistani, se vähensi muutenkin matskua liikaa. Uusimmat kokeilut ovat jo sen verran hyviä, että seuraavaksi pilveistämisen kimppuun...

Samaa tekniikkaa olisi kiva soveltaa omaan sähköpostilaatikkoon ;-)

Nyt järjestelen sanat keskusteluittain niin, että vilkkain keskustelu ekana ja sieltä top-sanat. Sitten seuraava jne. Eli tarkoitus saada pilveen alueita keskusteluittain. Tämä päivän "yläpilvessä" olisi

Suomi:
76 raha
50 valta
48 qaiku
46 hyvä
43 oman
41 suomessa
35 yle

Enkku:
57 open
39 source
32 software
30 use
27 community
26 need
25 business

..ja eilisen "yläpilvi"

Suomi:
55 qaiku
49 hyvä
42 asiaan
41 kaikkea
36 yle
33 vanhanen
28 oman
27 matti

Enkku:
29 just
29 qaiku
28 language
26 use
23 like
23 mobile
22 english
19 finnish
18 need
17 think
16 people
16 try
15 new
13 good

Ennuste tälle päivälle. Suomen yläpilvi:
36 kirjasto
33 hyvä
24 palveluja
20 suomessa
18 itselleen
16 kautta
15 maksua
15 with
14 all
13 koneen
13 hinta
13 yhden
13 asiat
13 rahaa
13 iso
12 vuoden
12 paikassa
12 sanoa
12 suoraan

Ja englannin:
41 social
40 people
26 use
26 qaiku
23 web
22 openid
20 just
18 google
18 services
17 good
16 channels
14 view
14 like
14 identity
13 twitter

Nyt ajatuksissa on luoda noista kielikohtainen pilvi, joissa tällainen yhden keskustelun top-sanat muodostaa vaakarivin. Keskelle otetaan yleisin sana koolla 10, sen ympärille seuraavaksi isoin koolla 9, sen renoille seuraavat 8 jne. Saadaan siis rivi, jossa kaikki sanat on samasta keskustelusta, keskellä kuumin sana.

Tämän rivin yläpuolelle tehdään sama toisiksi yleisimmästä keskustelusta, mutta sanakoot on yhtä pienempiä. Keskellä siis koolla 9.

Keskirivin alapuolelle tehdään sama kolmanneksi yleisimmästä keskustelusta, samoilla sanakoilla nyt ylimmän kanssa.

Samaa jatketaan ehkäpä niin, että pystysuunnassa on 5 riviä (=top 5 keskustelut).

Jos klikkaa sanaa, pääsee ko. keskusteluun.

Tällä idealla tuo voisi näyttää oikeasti pilveltä?!

edit: Ylläoleva toteutettu ja näyttää pilvemmältä kuin tagipilvet yleensä. Vähän pitää vielä keruupuolta kehittää, niin voin julkaista ekan version.

Löysin tähän liittyen pari mielenkiintoista sivua:

• http://voikko.sourceforge.net/
• http://joukahainen.puimula.org/