PySpark-koodin suorituslogiikka ja optimointi
Kirjoituksessa selvitetään PySpark-ohjelmoinnin suorituslogiikka ja annetaan useita neuvoja PySpark-koodin optimoimiseksi.
Avainsana: data science ja analytiikka
Data science eli data-analytiikka tarkoittaa ongelmien ratkontaa yhdistelemällä dataa, tilastoja ja tietotekniikkaa toisiinsa. Sivustolta löytyy esimerkiksi maanjäristysdataan perustuvia visualisointeja ja kuvitteellisiin tilanteisiin perustuvia ongelmanratkaisutehtäviä.
Pyrin pitämään haastavammatkin aiheet yksinkertaisena kaiken tasoisille lukijoille.
Data science avainsanan alta löydät videoita, demoja, oppaita, visualisointeja, analyyseja ja tutoriaaleja sekä muuta materiaalia teeman ympäriltä.
Datan klusterointi SQL-kyselyllä – Esimerkki IoT-datalla
Aikasarjadatan klusterointi SQL-kyselyllä. Kokeilun tarkoituksena oli osoittaa, että data science ei aina vaadi erikoisia työkaluja. SQL on kuitenkin melko suoraviivaista. Koska kokeilu oli tekninen, suurin […]
Optimoi edullisempaan rahastoon siirtyminen – 1300€ säästö 5000€ sijoitukselle 10 vuodessa
Omassa tapauksessani 5000 euron siirto kalliista rahastosta parhaalla strategialla tuottaa 10 vuodessa laskennallisesti 1300 euron hyödyn.
Spark + Python tutoriaali datakehittäjille
Tutoriaali Spark-rinnakkaislaskentaan Python-ohjelmointikielellä. Esimerkki on ajettu AWS pilvilaskenta-alustalla AWS Glue-palvelussa.
Suomenkielisten sanojen perusmuotoistaminen ja stemmaus pythonilla
Kirjoitin Solitan blogiin aiheesta ”Suomenkielisten sanojen perusmuotoistaminen pythonilla”. Kirjoitus sisältää koodiesimerkkejä.
Tekoälykokeiluissa havainnot ovat tuloksia tärkeämpiä
Kirjoitin Solitan blogiin aiheesta ”Tekoälykokeiluissa havainnot ovat tuloksia tärkeämpiä”. Linkki alkuperäiseen tekstiin ja tiivistelmä.
Kokemuksia tekstianalytiikasta rahoitushakemuksien luokittelussa
Kokemuksia tekstianalytiikasta ja rahoitushakemusten automaattisesta luokittelusta.
Web-sovellus pilvessä data edellä – Tekninen toteutus
Tekninen kuvaus data edellä tehdystä web-sovelluksesta, jonka toteutuin AWS-pilvialustalle harrasteprojektina.
Web-sovellus pilvessä data edellä – Sovelluksen esittely
Tein harrasteprojektina pilveen mobiilioptimoidun web-sovelluksen, jossa olennaista oli datan monipuolinen hyödyntäminen. Katso demo video.
Kannattaako säännöllinen sijoittaminen aloittaa laskusuhdanteen lähestyessä – Data-analyysi
Sijoittaminen laskusuhdanteen lähestyessä. Onko nyt huono hetki aloittaa säännöllinen sijoittaminen varmoina pidettyihin pörssi-indekseihin?
Mitä teen työkseni?
Outo englanninkielinen titteli ei usein kerro, mitä työ oikeasti on. Blogitekstissä kerron tarkemmin, millaisia ongelmia ratkon työssäni.
Esimerkki koneoppimisen soveltamisesta liiketoimintaan
Sain vihdoin julkaistua pöytälaatikossani muutaman kuukauden muhineen blogikirjoituksen teemalla ”Konkreettinen esimerkki koneoppimisesta ja liiketoimintahyödyistä”. Tarve yhdistää liiketoiminta ja koneoppiminen vaikuttaa olevan kova.
Elämme koneoppimisen ja pilven aikakautta, mutta mikä Excelin rooli nykyään on?
Ennen oli Excel. Nykyään on mobiilisovellukset, pilvi, IoT ja koneoppinen. Tässä blogissa kerron näkemykseni Excelin roolista suhteessa muihin työkaluihin. Pohdintaa myös Excelin tulevaisuudesta.
Doing Data Science – Data Science on datan soveltamista käytäntöön
Kirjassa annetaan useita määritelmiä termille data science ja pohditaan data scientistin työssä vaadittavia taitoja. Kirja oli konkreettinen ja sopivan helppolukuinen myös aihetta vähemmän tuntevalle.
R in a Nutshell – Kokemuksia R-ohjelmoinnista
Luin kirjan tilastolliseen laskentaan käytetystä R-kielestä. Kerron kokemukseni kirjan sisällöstä ja käyttämistäni oppimismenetelmistä.
Algorithms to Live by – Tietotekniikkaa sovellettuna arkielämään
Tietokoneiden uumenista löytyy vastaus esimerkiksi siihen, missä iässä olet todennäköisesti löytänyt ihannekumppanisi.
Arki Solitalla – Tällaista on ollut työ Data Scientistina
Raportti ensimmäisestä 6 kuukaudestani Solitalla ”data hommissa”. Kokemuksia ja käytännön esimerkkejä asiakasprojekteista.
Tällainen firma on ohjelmistoyritys Solita
Mikä erottaa Solitan muista ohjelmistoalan yrityksistä? Entä mitä tehdään edustamassani Agile Data-yksikössä?
Beer Pong analytiikkaa
Data-analytiikkaa opiskelijoiden suosimasta seurapeleistä. Ota parhaat vinkit Wapun beer pong peleihin ja lataa litteenä oleva Excel.
Algoritmiongelma – Osaatko ratkaista älytehtävän todellisesta asiakasprojektista?
Algoritmiongelma tuli alunperin vastaan todellisessa asiakasprojektissa, jossa tuotteen kulkua tuotantolinjalla täytyi pystyä seuraamaan.
Tampere ES Data Science Meetup
Tampere ES Data Science Meetupissa puheenvuorot koneoppimiskilpailuista ja nettisivujen asiakaspalvelun automatisoinnista.
Näin hankin itselleni unelmatyön – Jättijulkaisu työnhausta esimerkkien kera
Aloitan pian työni data-analytiikkakonsulttina. Lue sensuroimaton versio Solitan rekrytointiprosessista ja lataa lähettämäni työhakemus.
Vedonlyönti – Voiko sillä elää? – Lue Opas
Vedonlyönti – sillä on mahdollista elättää itsensä. Blogia ei ole sponsoroitu, vaan ajatukset ovat täysin omiani. Vedonlyönti erityisesti urheilun parissa herättää paljon myyttejä ja uskomuksia, joista osa […]
Maanjäristysdatan visualisointi ja klusterointi
Visualisointi toteutettiin analysoimalla R-studion sisäänrakennettua quakes tietoaineistoa, joka sisälsi 1000 kirjausta Fijin maanjäristyksistä vuodesta 1964 määrittämättömään vuoteen asti. Visualisoinnin kannalta oleellisia muuttujia olivat karttakoordinaatit, järistyksen syvyys ja voimakkuus. […]
Virusongelma – Tilastollinen pulmapähkinä
Virusongelma on pulmatehtävä, ei todellinen tilanne. Maailmalla leviää virus, joka tappaa ilman hoitoa. Virukseen on olemassa lääke, joka parantaa sairaan, mutta tappaa terveen ihmisen. Testausmenetelmää ei […]
Arjen tilastotiedettä – Myyntiharjoittelijan palkkaaminen
Data-kategorian blogeissa analysoidaan todelliseen elämään pohjautuvia pulmia, joita voidaan ratkoa datan ja tilastojen avulla. Tilanne Olet palkannut viisi uutta myyntiharjoittelijaa, joilla suoritetaan 100 myyntipuhelun mittainen […]
Taukolaskuri – Paljonko tienaat tauon aikana?
”Nyt kukaan ei näe. On hyvä hetki hakea vähän lisää kahvia.” ”Käynpä taas vessassa ja vaihdan ohimennen kuulumiset Jarin ja Veeran kanssa.” Tienaa tyhjästä Molemmat tilanteet ovat tuttuja […]
Paikkatietojen hakukone
Päivitys 5.2.2017: Päivittäessäni webhotellia poistin vahingossa paikkatiedot sisältäneen tietokannan. Tietokanta olisi mahdollista palauttaa, mutta se ei ole nyt prioriteettilistallani. Ohjelman runko on edelleen olemassa, mutta […]
Verkkosivun kävijäanalyysi – Asiakasprojekti
Asiakkaan toiveena oli Google-mainontaan käytetyn mainosrahan vähentäminen. Lähdimme aluksi selvittämään mainonnan ja verkkosivuston nykytilannetta. Tärkeimpinä työkaluina olivat mainosalusta Google Adwords ja verkkosivustojen analytiikkapalvelu Google Analytics. Näiden […]