Tools

Ile said

Ile  

test of Bambuser vs. Qik vs. uStream - Test Rig, Done

60 comments

Ile posted to #bambuser Helsinki 01.01.2010 (fi)

60 comments

Bottom

Ile  

Ping #DIY and @porni

Ile commented on posted to #bambuser Helsinki, Finland 01.01.2010 (en)

Porni  

@Ile :D

Porni commented on posted to #bambuser 01.01.2010 (en)

juffe  

:D

juffe commented on posted to #bambuser 01.01.2010 (en)

erkka  

Rispekt :)

erkka commented on posted to #bambuser 02.01.2010 (en)

jal  

@Ile Eikös puhelinten/yhteyksien pitäisi olla identtiset:-p?

-- Vai mitä itse asiassa on testattu? Testitulokset katsottavissa/verrattavissa jossakin?

jal commented on posted to #bambuser 02.01.2010 (en)

Ile  

EI vielä ole testattu, vähän kokeiltu vain setuppia. Teen ekat testit wifin yli, eli "samanlaiset yhteydet". Noissa iPhoneissa on melkolailla vertaiulukelpoiset 3G-yhteydet, eli niillä kahdella on tarkoitus verrata eri palveluita keskenään (Bambuser vs. Qik ja noiden voittaja vs. uStream).

Huom. peilikuvana olevat tekstit, ne näkyy oikeinpäin kun kuvaan viritystä peilin kautta ;-)

Ile commented on posted to #bambuser Helsinki, Finland 02.01.2010 (fi)

jal  

@Ile kiitos, ehdinkin jo kummastella tuota peilikuvallisuutta:-) - ei tosin selitä sitä, miksi kuvaat peilin kautta... Saadaksesi itsesikin kuvaan?

Edit: tarkemmin ajatellen: myös testijärjestelmän:-)

jal commented on posted to #bambuser 02.01.2010 (en)

Ile  

Jep, kiva kun jokaisella videolla on kuva siitä, millä laitteella se on tehty. Muuten menee helposti iso määrä videoita eri palveluissa/eri tileillä sekaisin...

Ile commented on posted to #bambuser Helsinki, Finland 02.01.2010 (fi)

Ile  

ping @Porni @erkka @jal Tarkempaa analyysiä tulossa, mutta alustavasti näyttää siltä, että iPhone on huomattavasti parempi kuin noksu (kumpikaan client ei osaa käyttää noksun tarkennusta).

Se, onko Bambuser parempi kuin QIK, mitä mieltä olette? QIK:n pystyformaatti vähän hämää iPhonella, pitäiskö tehdä yksi versio jossa QIK-iPhone on vaakasuunnassa?

Ile commented on posted to #bambuser Helsinki, Finland 03.01.2010 (fi)

Porni  

@Ile no nyt kun katoin niin bambuser näytti videon kun taas qik puskuroi kokoajan.. sinällään vaikeaa sanoa... itse haluaisin vielä tietää ton realiaikaisuuden kun striimataan nettiin.. kun näiden perusidea on juuri tuon striimauksen tekeminen.

Jännä oli tuo tarkennus.. no vielä kun olisi normi iLuuri 3G tuossa niin näkisi mikä on ero 3G:n ja 3GS:n välillä.. veikkaan että tuolloin tarkennus ainakin menee nokian tasolle.

Porni commented on posted to #bambuser 03.01.2010 (fi)

Ile  

@Porni Joo, tuollainen latency-testi on tulossa. Kehittelin vähän ideaasi siihen...

Arvelen, että tarkennuspuolella 3G:n ja 3GS:n välillä ei ole eroa, 3G voisi olla jopa parempi. Tämä arvaus perustuu siihen, että videostriimauksessa megapikseleistä on vain harmia, kun niistä pitää laskea alaspäin videoresoluutiota.

Ile commented on posted to #bambuser Helsinki, Finland 03.01.2010 (fi)

Porni  

pystyykö sitten tuo 3G samaan videon tasoon kuin 3GS tarkoitan tällä fps:ää.. ja eikös jotain tarkennuksen puolella 3GS:ssä ole parempaa?

Porni commented on posted to #bambuser 03.01.2010 (fi)

Ile  

@Porni Mulla ei ole 3G:tä. Teknisesti luulen, että pitäisi olla mahdollista saada ihan sama fps:sä. Toinen kysymys on fps/live vai yleensä ottaen. Nuo clientithan kerää pudonneet framet talteen ja lähettää ne lähetyksen lopussa, jolloin tallenteen fps kasvaa...

Ile commented on posted to #bambuser Helsinki, Finland 04.01.2010 (fi)

Ile  

@Porni Teimme latency-testin. Pätkä lorisee juuri Youtubeen, mutta omaksi yllätykseksi QIK hakkasi Bambuserin todella rankasti. Sekä latencyssä että frame ratessa.

Tämän 11kk vanhan tilanteen voi siis unohtaa, QIK on tehnyt kotiläksynsä. Laitan lisää infoa, kun video on perillä.

Ile commented on posted to #bambuser Helsinki, Finland 04.01.2010 (fi)

Ile  

Bambuser vs. QIK-livetesti. QIK voittaa selvästi.

Pitänee tehdä toinen testi pudottamalla Bambuserin laatuasetusta ja sitten vertaamalla myös syntynyttä matskua laadullisesti.

Ile commented on posted to #bambuser Helsinki, Finland 05.01.2010 (fi)

erkka  

@Ile: Kiitos! Mielenkiintoinen testi.

erkka commented on posted to #bambuser 05.01.2010 (fi)

eskolius  

En lukenut kaikkea läpi, mutta huomasin että @Ile kyseli Bambuserin ja Qikin eroja. Omassa käytössäni iPhone 3GS:llä Qik on pessyt selvästi sekä nopeudessa että laadussa.
(edit: testattu langattoman kotiverkon kautta)

eskolius commented on posted to #bambuser 05.01.2010 (fi)

Ile  

Jep, osoitteeseen http://mobile-streaming.blogspot.com kerään ja koostaan tuloksia. Tarkoitus on myös seurata tilannetta jatkossakin ja ottaa mukaan seuraavaksi QIK vs. uStream.

Toisaalta olen tehnyt Bambuserilla hyviä striimejä Adobe Live Video Encoderilla, löytyykö näistä muista palveluista tälle tukea? Siinä saattaa olla yksi kohta jossa Bambuser on edellä muita. Toisaalta webcam-osa-alue on yksi vertailumahdollisuus.

Ile commented on posted to #bambuser Helsinki, Finland 05.01.2010 (fi)

Suviko  

Tää ketju kiinnosta ehkä kans @Tuija:a.

Suviko commented on posted to #bambuser 05.01.2010 (fi)

Tuija  

Kiitti Suviko, kyllä toki kiinnostaa. Aloittelemme juuri pilottia Bambuserin kanssa suoran mobiilivideon käyttötapojen etsimiseksi osana toimittajan työtä ja tarinankerrontaa ja työelämän dokumentointia ja muuta sellaista, mitä nyt pilottijakson aikana keksimme kun kokeilemme. Täytyy hätistää Bambuserin väki selittämään, mikä mättää, kun testissä ei oltu niin hyviä kuin mitä livestreamaukselta sopisi olettaa.

Tuija commented on posted to #bambuser 05.01.2010 (fi)

Tuija  

@Ile Kiinnostavaa testausta, voisiko sitä toistaa myöhemmin? Yhteyshenkilömme Pouria Ruhi (http://twitter.com/pourran ) vastaa: "We checked it out, and the test guy have run the Bambuser app on 640X480 Video Size, I am pretty confident that the QiK app is not running on that size, its probably running on much lower video size. If you know this guy, please ask him to do the test again, and this time make sure that all the parameters are exactly the same."

Tuija commented on posted to #bambuser 05.01.2010 (fi)

Ile  

@Tuija Jep, tuo oli juuri ideana seuraavaksi. Tässä tesissä sekä QIK että Bambuser oli maksimilaadulla sekä video/audion osalta. Jos QIKin maksimi on olennaisesti huonompi, ero varmaan syntyy tästä.. Toki nuo syntyneet bambuser/qik -rainatkin on tallessa.

Ile commented on posted to #bambuser Helsinki, Finland 05.01.2010 (fi)

jal  

@Ile Yritäpä vielä saada N900 mukaan... Että onko senkin ero noin selvä iPhoneen verrattuna.

jal commented on posted to #bambuser 05.01.2010 (fi)

jal  

@Ile Mitkä muuten ovat pääasialliset erot testattavissa videostriimipalveluissa, siis nyt testattavien laatuerojen lisäksi?

jal commented on posted to #bambuser 05.01.2010 (fi)

jal  

@Ile oletko muuten myynyt testitulosjuttua millekään medialle - luulisi nimittäin kiinnostavan niiden lukijoitakin.

jal commented on posted to #bambuser 05.01.2010 (fi)

Ile  

@jal Eikös sulla ole N900? Tervetuloa kylään joku kerta.. @Porni Eikös sulla ole iPhone:n vanhempi revisio? Samoin :-)

Noista eroista: En ole vielä kunnolla ehtinyt analysoimaan, tarkoitus on arvioida laatua noista ekoista videoista. Äkkiseltään näytti, että QIK on myös laadultaan varsin hyvä.. Ja iPhone kaikenkaikkiaan parempi kuin Nokia.

API-palveluja on myös tarkoitus jossain vaiheessa vertailla.
QIK voittaa tagituksellaan, tosin Bambuserin kanssa olen käynyt kirjeenvaihtoa ja heillä tuo on kuuma kehityskohde ja arvelen, että tulee jotain hienoa sieltäkin.

Minähän olen striimannut Bambuserilla tilaisuuksia 3G:llä + Adobe Live Encoderilla täydellä PAL-resoluutiolla. Mielestäni niiden laatu on loistava (ollakseen mobiililähetyksiä). En tiedä, onko näissä muissa palveluissa tällaista toimintoa, eli siinä Bambuser ehkä vetää pidemmän korren..

@Tuija: Tuossa latencytestissä kaikki palvelut olivat tosiaan maksimilaadulla. Tein nyt uuden testin, jossa Bambuser pudotettiin minimilaatuun QIKin ollessa edelleen maksimilla. Tulos oli sama, QIK on parempi. Vaihdoin vielä puhelimet/palvelut ristiin ja silläkään ei ollut vaikutusta.
En tiedä onko Bambuserin huonoutta vai QIKin uusien versioiden (Joulukuun 24. pv ilmestyneet) hyvyyttä.

Ile commented on posted to #bambuser Helsinki, Finland 05.01.2010 (fi)

jal  

@Ile otan haasteen vastaan, sovitaan vain aika:-).

jal commented on posted to #bambuser 05.01.2010 (fi)

Porni  

@Ile kuulin myös että ustream pesee qikin livessä.. itse muuten huomasin että itselläni ei toimi chatti samaan aikaan kun striimaan qikillä.. outoa.. eli kun lopetan striimaamisen niin näen chätin ja voin chätätä.. mutta kun jatkan striimaamista niin en näe mitään keskusteluja :/

ja juu jos aikataulut natsaa niin mikä ettei otetaan vaan 3G:kin mukaan testiin..

Porni commented on posted to #bambuser 05.01.2010 (fi)

Porni  

ja nyt luin että se ei ole bugi vaan feature...

Porni commented on posted to #bambuser 05.01.2010 (fi)

Tuija  

@Ile oletpa sinä nähnyt vaivaa! Tää on kiinnostavaa ja tarpeellista testailla ja seurata. Onko missään mitään ns. puolueettomien testaustahojen tekemiä testejä näistä palveluista julkaistu vai oletteko ihan uusilla urilla?

Tuija commented on posted to #bambuser 05.01.2010 (fi)

Ile  

@Porni Joo, uStream vs. QIK varmaan seuraavaksi.
QIKin ja uStreamin huono puoli on se, että ainakin iPhonelle ne on läjä erillisiä softia. Esim. QIK-softalla ei voi livestriimata, Q-softalla sitten livestriimataan. Bambuserilla on selkeästi tavoitteena pitää homma yksinkertaisena, eli on vain yksi client, johon sitten tuodaan uutta ominaisuutta tarpeen mukaan.

Toi chatti olisi varmaan yksi testin/vertailun aihe...

Ile commented on posted to #bambuser Helsinki, Finland 05.01.2010 (fi)

Porni  

@Ile öö miten niin ei voi livestriimata?

Porni commented on posted to #bambuser 05.01.2010 (fi)

Ile  

@Tuija Olen yrittänyt etsiä ja enpä ole löytänyt. Yhden videon löysin missä verrattiin Bambuseria QIKkiin -- Se on tosin jo 11 kk:n takaa, se päätyi silloin päinvastaiseen tulokseen ja loppujenlopuksi vaikuttaa Bambuserin jengin mainokselta ;-)

Tosin itse uskon B:n kuvioihin, eli kyllä tästä hyvä skaba saadaan varmaan aikaan...

Ile commented on posted to #bambuser Helsinki, Finland 05.01.2010 (fi)

Porni  

ja tosiaan chättiä ei kannata QIK:ssa testata ainakaan iLuurilla... kun siitä ei ole mitään hyötyä

Porni commented on posted to #bambuser 05.01.2010 (fi)

Ile  

@Porni Sorry epätäsmällisyys. QIK for 3 GS on softa vain GS:lle, joka tekee maksimilaatua, mutta ei livestriimaa vaan kuvaa offlinena ja lähettää sen jälkeen. Tämän softan ikoni iPhonessa on "qik"

Sinulla on varmaan QIK Live, joka toimii myös vanhemmilla, mutta ei tee yhtä hyvää laatua. Tämän ikoni iPhonessa on "q"

Ile commented on posted to #bambuser Helsinki, Finland 05.01.2010 (fi)

Ile  

@Porni Voihan tuon chatin testata, siihen kohtaan taulukkoa tulee vain nolo N/A... Varmaankin pitää alkaa tekemään testituloksista taulukkoa Google Spredsheettiin, niin voi sitten laittaa painotukset eri osa-alueille ja saada jonkinlaisia vertailutuloksia eri osa-alueiden suhteen.

Näin tehtynä halukkaat voivat ottaa taulukosta kopion itselleen ja muuttaa painotuksia omien arvostusten mukaan.

Ile commented on posted to #bambuser Helsinki, Finland 05.01.2010 (fi)

eskolius  

@Ile, viive Qik/3GS:lllä oli testatessani ehkä minuutti, joten arkikäytössä lienee riittävän live.

eskolius commented on posted to #bambuser 05.01.2010 (fi)

Ile  

@eskolius Puhutko nyt sovelluksesta nimeltä "qik for 3GS"? Olen useammasta lähteestä saanut mielikuvan, että siinä ei ole liveä. Ja miksi muuten se sanoisi otoksen jälkeen "Use" tai "Retake"? Tuo viittaisi siihen, että se ei edes yrittänyt lähettää...

qik live on eri softa, jossa on live mutta laatu ei ole ihan yhtä hyvä.

Tässä aiheesta, ehkä tuo QIKfor3GS pitää unohtaa kokonaan, jos tuo on virallisestikin "upgrade".

Ile commented on posted to #bambuser Helsinki, Finland 05.01.2010 (fi)

eskolius  

@Ile, olet oikeassa - juuri noin menee Qik / Qik Liven välillä.

Qik on laadultaan hyvä ja lähettää nopeasti, mutta ei tosiaankaan lähetä ennen nauhoituksen lopettamista. Qik Live on siis tosiaan live-striimaava, mutta reso jää 320x240 pikseliin.

eskolius commented on posted to #bambuser 06.01.2010 (fi)

Ile  

ping @Tuija, tein uuden testin pudottaen Bambuserin laadun minimiin ja qik liven asetuksen jätin sen parhaaseen (varmaan tuo @eskolius:n mainitsema 320x240). Video löytyy täältä

Ile commented on posted to #bambuser Helsinki, Finland 06.01.2010 (fi)

jvanhanen  

Tämä oli hieno testi ja olin juuri miettimässä kumpaa rupeasi käyttämään.

jvanhanen commented on posted to #bambuser 06.01.2010 (fi)

Ile  

@jvanhanen Kiitokset. Lisää on tulossa. Ainakin uStream vs, QIK, Bambuserin iSight-s ja Adobe Live Encoder -striimaus (arvelen että tolla osa-alueella se on kunkku) sekä resoluutiotestejä EIA 1956 standard test pattern -lappua kuvailemalla sekä kännyn omalla kameralla ("maksimilaatureferenssi") ja eri laadun striimeillä / palvelu.

Tuleeko muuta testattavaa mieleen?

Ile commented on posted to #bambuser Helsinki, Finland 06.01.2010 (fi)

Kitti  

@Ile @jal @Porni @juffe @erkka @eskolius @Suviko @Tuija @jvanhanen Tämä saattaisi kiinnostaa. Vimeolta tuki mobiilivideoille http://www.mobile-ent.biz/news/35556/...

Kitti commented on posted to #bambuser 07.01.2010 (fi)

eskolius  

@Kitti, kiitos linkistä - kokeilen illalla!

eskolius commented on posted to #bambuser 07.01.2010 (fi)

visualradio  

Tykkään tuosta monikanava-apparaatista. Nyt tajuan, miksi kännykät ovat niin pieniä, koska muuten niitten testaaminen olisi paljon vaikeampaa.

visualradio commented on posted to #bambuser 07.01.2010 (fi)

Ile  

Onko täällä uStream-käyttäjiä? Minä en osaa..

Nokialle se ei asennu. iPhonelle asentuu ja täytyypä sanoa, että on todella hieno, paras näkemäni sekä toiminnallisuudeltaan että käytettävyydeltään.

En vain saa livestriimattua. Kun painaa "Go Live", se sanoo kyllä että ollaan livenä, mutta http://ustream.tv:ssä omien videoiden alla näkyy vain vanhat. Kun klikkaan Stop, se kysyy, haluatko tallentaa ja jakaa. Jos sanon että joo, video ilmestyy nettiin. Ei kovin live...

Kävin asetukset läpi, enkä löytänyt mitään säädettävää. Onko joku oikeasti livestriimannut uStreamillä ja iPhonella?

Ile commented on posted to #bambuser Helsinki, Finland 07.01.2010 (fi)

Ile  

@Kitti Joo, eli Vimeon videoita voi katsoa mobiilissa, jos maksaa sen 60$ vuodessa. Striimaamista eivät taida tukea...

Ile commented on posted to #bambuser Helsinki, Finland 07.01.2010 (fi)

Ile  

uStreamillä on hieno live-helppi. Chatroom, jossa voi kysyä. Meni ehkä minuutti kysymyksestä kun tuli selitys:

A channel must be on the featured Iphone list to be viewable
http://helpcenter.ustream.tv/content/...

Ile commented on posted to #bambuser Helsinki, Finland 07.01.2010 (fi)

vousa  

Joka vanhaa qaikua muistelee, sitä tikulla silmään vai miten se menikään? Mutta asiaan: ei kukaan ole sattumoisin ajellut samankaltaista testiä viimeaikoina? Onko palvelut parantuneet? (Puhelinten kamerat nyt ainakin)

Itseä kiinnostaisi esim. HTC Desire, Galaxy S & iPhone 4

vousa commented on posted to #bambuser 13.01.2011 (fi)

Ile  

@vousa Mulla olisi intressejä uusia testejä. Minulla on myös mietittynä setuppi kuvanlaadun mittaamiseen. Mitä laitteita/softia pitäisi ottaa mukaan?

@jal, onks sulla vielä N900? Sen Bambuser-laatua on kehuttu, joten sitä voisi kokeilla..

PS. edellinen testi maksoi minulle >200 EUR, kun yhden laitteen datadiili olikin vähän huonompi :-)

Ile commented on posted to #bambuser 14.01.2011 (fi)

jal  

@Ile kyllä tätä N900:aa on vielä kärsittävä, vaikka takaisinmaksulaskelmia en ole edes yrittänytkään, toisaalta.

Pistin juuri broadcastin päälle, katsotaan mitä tulee.

jal commented on posted to #bambuser 14.01.2011 (fi)

jal  

@Ile tuonne se meni: http://bambuser.com/channel/jal/broad...

Laatua ja laatua... N900 oli jalustalla noin 30 cm päässä ruudusta.

jal commented on posted to #bambuser 14.01.2011 (fi)

jal  

@Ile ja tässä asetelma

jal commented on posted to #bambuser 14.01.2011 (en)

jal  

Ja tällainen oli ruutu, jota N900 kuvasi

jal commented on posted to #bambuser 14.01.2011 (fi)

jal  

@Ile samaa vimeota Jingillä screencapturoituna.

jal commented on posted to #bambuser 14.01.2011 (sv)

jal  

Ja että sarja olisi täydellinen, niin vielä still-kuva N900:lla tästä ruudusta

jal commented on posted to #bambuser 14.01.2011 (fi)

Ile  

@jal Joo, noi ei toi resoluutio ihan kummoselta näytä. Mutta eipä mitään, vaatii kunnon vertailutestin. Suunnittelemani erottelukykytesti on kuvata tällaista videokuvanlaadun mittaukseen tehtyä taulua, kullakin kännyllä/softalla vuorollaan. Koska kamera on jalustalla, vertailuun riittää videokuvasta otetut png-kuvat, jotka laitetaan vierekkäin taulukkoon.

Tässä esimerkkinä iPhone 3GS + Bambuser High Video Qualityllä:

Ile commented on posted to #bambuser 14.01.2011 (fi)

Ile  

..ja tässä sama laite, Bambuser Low Video Quality -- Eiks näissä näy aika selkeä ero, eli vertailu näin tehden eri softien/puhelimien välillä olisi järkevää?

Ile commented on posted to #bambuser 14.01.2011 (fi)

vousa  

@Ile Ainakin Bambuser ja Qik kuten alkuperäisessäkin. Onko vuoden aikana noussut mitään muita varteenotettavia palveluita?

Mielellään myös stillin lisäksi liikkuvaa kuvaa. Saisikohan streamauspalveluiden videon napattua kiintolevylle, jota voisi tutkailla tarkemmin esim. mediainfolla? Näkisi suoraan resoluution ja bitraten lukuina.

vousa commented on posted to #bambuser 15.01.2011 (fi)

Ile  

@vousa Resoluutiotestiin kelpaa stillkuvat -- Niistä nähdään kunkin laitteen/palvelun absoluuttinen erottelukyky. Käytännössähän noissa kaikissa käytetään kameran kennosta vain pieni pala. Esim. Nokiaa vaivasi noissa tekemissäni testeissä, ettei kamera tarkentanut lainkaan kun sitä käytettiin bambuserilla/QIKillä.

Liikkuvan kuvan testeihin kehitin mielenkiintoisen tavan havaita sekä framerate (montako kuvaa saadaan livessä/sekunti) sekä latenssi (minkälainen on lähetysviive). Tällainen testivideo on ohessa. Muita testejä löytyy täältä: http://mobile-streaming.blogspot.com/...

Ile commented on posted to #bambuser 15.01.2011 (fi)

Login or register to leave a comment

Publicity
These messages are public and can be seen by anyone.