PySpark-koodin suorituslogiikka ja optimointi
Posted on
Kirjoituksessa selvitetään PySpark-ohjelmoinnin suorituslogiikka ja annetaan useita neuvoja PySpark-koodin optimoimiseksi.
Avainsana: data science ja analytiikka
Data science eli data-analytiikka tarkoittaa ongelmien ratkontaa yhdistelemällä dataa, tilastoja ja tietotekniikkaa toisiinsa. Sivustolta löytyy esimerkiksi maanjäristysdataan perustuvia visualisointeja ja kuvitteellisiin tilanteisiin perustuvia ongelmanratkaisutehtäviä.
Pyrin pitämään haastavammatkin aiheet yksinkertaisena kaiken tasoisille lukijoille.
Data science avainsanan alta löydät videoita, demoja, oppaita, visualisointeja, analyyseja ja tutoriaaleja sekä muuta materiaalia teeman ympäriltä.
Datan klusterointi SQL-kyselyllä – Esimerkki IoT-datalla
Posted on
Aikasarjadatan klusterointi SQL-kyselyllä. Kokeilun tarkoituksena oli osoittaa, että data science ei aina vaadi erikoisia työkaluja. SQL on kuitenkin melko suoraviivaista. Koska kokeilu oli tekninen, suurin […]
Optimoi edullisempaan rahastoon siirtyminen – 1300€ säästö 5000€ sijoitukselle 10 vuodessa
Posted on
Omassa tapauksessani 5000 euron siirto kalliista rahastosta parhaalla strategialla tuottaa 10 vuodessa laskennallisesti 1300 euron hyödyn.
Spark + Python tutoriaali datakehittäjille
Posted on
Tutoriaali Spark-rinnakkaislaskentaan Python-ohjelmointikielellä. Esimerkki on ajettu AWS pilvilaskenta-alustalla AWS Glue-palvelussa.
Suomenkielisten sanojen perusmuotoistaminen ja stemmaus pythonilla
Posted on
Kirjoitin Solitan blogiin aiheesta ”Suomenkielisten sanojen perusmuotoistaminen pythonilla”. Kirjoitus sisältää koodiesimerkkejä.
Tekoälykokeiluissa havainnot ovat tuloksia tärkeämpiä
Posted on
Kirjoitin Solitan blogiin aiheesta ”Tekoälykokeiluissa havainnot ovat tuloksia tärkeämpiä”. Linkki alkuperäiseen tekstiin ja tiivistelmä.
Kokemuksia tekstianalytiikasta rahoitushakemuksien luokittelussa
Posted on
Kokemuksia tekstianalytiikasta ja rahoitushakemusten automaattisesta luokittelusta.
Web-sovellus pilvessä data edellä – Tekninen toteutus
Posted on
Tekninen kuvaus data edellä tehdystä web-sovelluksesta, jonka toteutuin AWS-pilvialustalle harrasteprojektina.
Web-sovellus pilvessä data edellä – Sovelluksen esittely
Posted on
Tein harrasteprojektina pilveen mobiilioptimoidun web-sovelluksen, jossa olennaista oli datan monipuolinen hyödyntäminen. Katso demo video.
Kannattaako säännöllinen sijoittaminen aloittaa laskusuhdanteen lähestyessä – Data-analyysi
Posted on
Sijoittaminen laskusuhdanteen lähestyessä. Onko nyt huono hetki aloittaa säännöllinen sijoittaminen varmoina pidettyihin pörssi-indekseihin?
Mitä teen työkseni?
Posted on
Outo englanninkielinen titteli ei usein kerro, mitä työ oikeasti on. Blogitekstissä kerron tarkemmin, millaisia ongelmia ratkon työssäni.
Esimerkki koneoppimisen soveltamisesta liiketoimintaan
Posted on
Sain vihdoin julkaistua pöytälaatikossani muutaman kuukauden muhineen blogikirjoituksen teemalla ”Konkreettinen esimerkki koneoppimisesta ja liiketoimintahyödyistä”. Tarve yhdistää liiketoiminta ja koneoppiminen vaikuttaa olevan kova.
Elämme koneoppimisen ja pilven aikakautta, mutta mikä Excelin rooli nykyään on?
Posted on
Ennen oli Excel. Nykyään on mobiilisovellukset, pilvi, IoT ja koneoppinen. Tässä blogissa kerron näkemykseni Excelin roolista suhteessa muihin työkaluihin. Pohdintaa myös Excelin tulevaisuudesta.
Doing Data Science – Data Science on datan soveltamista käytäntöön
Posted on
Kirjassa annetaan useita määritelmiä termille data science ja pohditaan data scientistin työssä vaadittavia taitoja. Kirja oli konkreettinen ja sopivan helppolukuinen myös aihetta vähemmän tuntevalle.
R in a Nutshell – Kokemuksia R-ohjelmoinnista
Posted on
Luin kirjan tilastolliseen laskentaan käytetystä R-kielestä. Kerron kokemukseni kirjan sisällöstä ja käyttämistäni oppimismenetelmistä.
Algorithms to Live by – Tietotekniikkaa sovellettuna arkielämään
Posted on
Tietokoneiden uumenista löytyy vastaus esimerkiksi siihen, missä iässä olet todennäköisesti löytänyt ihannekumppanisi.
Arki Solitalla – Tällaista on ollut työ Data Scientistina
Posted on
Raportti ensimmäisestä 6 kuukaudestani Solitalla ”data hommissa”. Kokemuksia ja käytännön esimerkkejä asiakasprojekteista.
Tällainen firma on ohjelmistoyritys Solita
Posted on
Mikä erottaa Solitan muista ohjelmistoalan yrityksistä? Entä mitä tehdään edustamassani Agile Data-yksikössä?
Beer Pong analytiikkaa
Posted on
Data-analytiikkaa opiskelijoiden suosimasta seurapeleistä. Ota parhaat vinkit Wapun beer pong peleihin ja lataa litteenä oleva Excel.
Algoritmiongelma – Osaatko ratkaista älytehtävän todellisesta asiakasprojektista?
Posted on
Algoritmiongelma tuli alunperin vastaan todellisessa asiakasprojektissa, jossa tuotteen kulkua tuotantolinjalla täytyi pystyä seuraamaan.
Tampere ES Data Science Meetup
Posted on
Tampere ES Data Science Meetupissa puheenvuorot koneoppimiskilpailuista ja nettisivujen asiakaspalvelun automatisoinnista.
Näin hankin itselleni unelmatyön – Jättijulkaisu työnhausta esimerkkien kera
Posted on
Aloitan pian työni data-analytiikkakonsulttina. Lue sensuroimaton versio Solitan rekrytointiprosessista ja lataa lähettämäni työhakemus.
Vedonlyönti – Voiko sillä elää? – Lue Opas
Posted on
Vedonlyönti – sillä on mahdollista elättää itsensä. Blogia ei ole sponsoroitu, vaan ajatukset ovat täysin omiani. Vedonlyönti erityisesti urheilun parissa herättää paljon myyttejä ja uskomuksia, joista osa […]
Maanjäristysdatan visualisointi ja klusterointi
Posted on
Visualisointi toteutettiin analysoimalla R-studion sisäänrakennettua quakes tietoaineistoa, joka sisälsi 1000 kirjausta Fijin maanjäristyksistä vuodesta 1964 määrittämättömään vuoteen asti. Visualisoinnin kannalta oleellisia muuttujia olivat karttakoordinaatit, järistyksen syvyys ja voimakkuus. […]
Virusongelma – Tilastollinen pulmapähkinä
Posted on
Virusongelma on pulmatehtävä, ei todellinen tilanne. Maailmalla leviää virus, joka tappaa ilman hoitoa. Virukseen on olemassa lääke, joka parantaa sairaan, mutta tappaa terveen ihmisen. Testausmenetelmää ei […]
Arjen tilastotiedettä – Myyntiharjoittelijan palkkaaminen
Posted on
Data-kategorian blogeissa analysoidaan todelliseen elämään pohjautuvia pulmia, joita voidaan ratkoa datan ja tilastojen avulla. Tilanne Olet palkannut viisi uutta myyntiharjoittelijaa, joilla suoritetaan 100 myyntipuhelun mittainen […]
Taukolaskuri – Paljonko tienaat tauon aikana?
Posted on
”Nyt kukaan ei näe. On hyvä hetki hakea vähän lisää kahvia.” ”Käynpä taas vessassa ja vaihdan ohimennen kuulumiset Jarin ja Veeran kanssa.” Tienaa tyhjästä Molemmat tilanteet ovat tuttuja […]
Paikkatietojen hakukone
Posted on
Päivitys 5.2.2017: Päivittäessäni webhotellia poistin vahingossa paikkatiedot sisältäneen tietokannan. Tietokanta olisi mahdollista palauttaa, mutta se ei ole nyt prioriteettilistallani. Ohjelman runko on edelleen olemassa, mutta […]
Verkkosivun kävijäanalyysi – Asiakasprojekti
Posted on
Asiakkaan toiveena oli Google-mainontaan käytetyn mainosrahan vähentäminen. Lähdimme aluksi selvittämään mainonnan ja verkkosivuston nykytilannetta. Tärkeimpinä työkaluina olivat mainosalusta Google Adwords ja verkkosivustojen analytiikkapalvelu Google Analytics. Näiden […]