PySpark-koodin suorituslogiikka ja optimointi
Kirjoituksessa selvitetään PySpark-ohjelmoinnin suorituslogiikka ja annetaan useita neuvoja PySpark-koodin optimoimiseksi.
Inspiraatiota | Asennetta | Tarinoita
Kirjoitukset, jotka olen julkaissut Solitan data.solita.fi blogissa tai liittyvät työhöni Solitalla. Työskentelin Solitalla vuosina 2017-2019.
Kirjoituksessa selvitetään PySpark-ohjelmoinnin suorituslogiikka ja annetaan useita neuvoja PySpark-koodin optimoimiseksi.
Tutoriaali Spark-rinnakkaislaskentaan Python-ohjelmointikielellä. Esimerkki on ajettu AWS pilvilaskenta-alustalla AWS Glue-palvelussa.
AWS Glue soveltuu erityisesti suurten datamäärien, eli niin sanotun big datan prosessointiin eräajona. Kirjoitus Solitan Data-blogissa.
Excel Power Map-ominaisuus on tarkoitettu paikkatietojen visualisointiin. Katso turvapaikanhakijadatasta tehty demo-video.
Kirjoitin Solitan blogiin aiheesta ”Suomenkielisten sanojen perusmuotoistaminen pythonilla”. Kirjoitus sisältää koodiesimerkkejä.
Blogikirjoittaminen ammatillisista aiheista on mainio tapa lisätä omaa ja työnantajan näkyvyyttä. Lue ohjeet ja kokemukset.
Kirjoitin Solitan blogiin aiheesta ”Tekoälykokeiluissa havainnot ovat tuloksia tärkeämpiä”. Linkki alkuperäiseen tekstiin ja tiivistelmä.
Kokemuksia tekstianalytiikasta ja rahoitushakemusten automaattisesta luokittelusta.
Outo englanninkielinen titteli ei usein kerro, mitä työ oikeasti on. Blogitekstissä kerron tarkemmin, millaisia ongelmia ratkon työssäni.
Tarkoituksenani on kuvata konsulttien päätöksiin vaikuttavia tekijöitä, joita konsulttipalveuiden ostaja ei välttämättä tule ajatelleeksi.
Sain vihdoin julkaistua pöytälaatikossani muutaman kuukauden muhineen blogikirjoituksen teemalla ”Konkreettinen esimerkki koneoppimisesta ja liiketoimintahyödyistä”. Tarve yhdistää liiketoiminta ja koneoppiminen vaikuttaa olevan kova.
Onnistuuko yrittäminen ja palkkatyö samaan aikaan? Entä miten toiminimi vaikuttaa verotukseen ja kuinka suuria ovat rahalliset hyödyt?
Hackathon on kilpailu, jossa ratkaisu koostuu tietotekniikan ja liiketoiminnan yhdistämisestä. Lue ratkaisustamme Hiabin Hackathonissa.
Raportti ensimmäisestä 6 kuukaudestani Solitalla ”data hommissa”. Kokemuksia ja käytännön esimerkkejä asiakasprojekteista.
Mikä erottaa Solitan muista ohjelmistoalan yrityksistä? Entä mitä tehdään edustamassani Agile Data-yksikössä?
Aloitan pian työni data-analytiikkakonsulttina. Lue sensuroimaton versio Solitan rekrytointiprosessista ja lataa lähettämäni työhakemus.