EN FI SV
Teknisen toteutuksen kuvaus asiakasprojektissta, jossa toteutin hakurobotin AWS-pilvialustalle nuuskimaan tietoa automatisoidusti netistä.

Hakurobotti AWS-pilvialustalle - Tekninen kuvaus asiakasprojektista

Tässä kirjoituksessa esitellään sivutoimisen yritykseni toteuttaman hakurobotin tekniset yksityiskohdat. Taustaksi voi lukea tämän projektikuvauksen. Tiivistettynä tarkoituksena oli etsiä netistä automatisoidusti vastaavia tuotteita, joita yritys julkaisi nettisivuillaan.

Aikasarjadatan klusterointi SQL-kyselyllä. Yksinkertaisella logiikalla saatiin luotua havainnollistava 3D-kuvaaja. Koodi löytyy GitHubista.

Datan klusterointi SQL-kyselyllä - Esimerkki IoT-datalla

Aikasarjadatan klusterointi SQL-kyselyllä. Kokeilun tarkoituksena oli osoittaa, että data science ei aina vaadi erikoisia työkaluja. SQL on kuitenkin melko suoraviivaista.

AWS Glue soveltuu erityisesti suurten datamäärien, eli niin sanotun big datan prosessointiin eräajona. Kirjoitus Solitan Data-blogissa.

Big data ETL - Johdatus AWS Glue-palveluun

Amazon Web Services (AWS) pilvilaskenta-alusta koostuu useista itsenäisistä palveluista, joista jokainen on tarkoitettu tietyn ongelman ratkaisemiseksi. AWS Glue-palvelu soveltuu erityisesti suurten datamäärien, eli niin sanotun big datan prosessointiin eräajona.

Tekninen kuvaus data edellä tehdystä web-sovelluksesta, jonka toteutuin AWS-pilvialustalle harrasteprojektina.

Web-sovellus pilvessä data edellä - Tekninen toteutus

Toteutin harrasteprojektina sekä tietokoneelle että mobiililaitteille taipuvan web-sovelluksen, jossa tärkeänä kriteerinä oli kyvykkyys hyödyntää dataa monipuolisesti esimerkiksi koneoppimisen, rajapintojen ja visualisointien muodossa.

Tein harrasteprojektina pilveen mobiilioptimoidun web-sovelluksen, jossa olennaista oli datan monipuolinen hyödyntäminen. Katso demovideo.

Web-sovellus pilvessä data edellä - Sovelluksen esittely

Toteutin harrasteprojektina sekä tietokoneelle että mobiililaitteille taipuvan web-sovelluksen, jossa tärkeänä kriteerinä oli kyvykkyys hyödyntää dataa monipuolisesti koneoppimisen, rajapintojen ja visualisointien muodossa.

Kirjassa annetaan useita määritelmiä termille data science ja pohditaan data scientistin työssä vaadittavia taitoja. Kirja oli konkreettinen ja sopivan helppolukuinen myös aihetta vähemmän tuntevalle.

Doing Data Science - Data Science on datan soveltamista käytäntöön

Doing Data Science on yliopistokurssin pohjalta kirjoitettu kirja, jossa useat henkilöt kertovat data science teeman alta hyvin erilaisista näkökulmista. Kirjassa oli joitakin koodiharjoituksia, mutta kirja toimii erinomaisesti ilman niitäkin.

Raportti ensimmäisestä 6 kuukaudestani Solitalla "data hommissa". Kokemuksia ja käytännön esimerkkejä asiakasprojekteista.

Arki Solitalla - Tällaista on ollut työ Data Scientistina

Huom! Täältä löytyy 24.11.2018 julkaisemani tuoreempi kirjoitus nykyisistä työtehtävistäni. Pääkuva otettu Solitan uusille työntekijöille järjestetyssä scrum-koulutuksessa toukokuussa. Meikäläinen kuvassa kolmas oikealta.

Lue, kuinka projektissa muokattiin asiakkaan data oikeaan formaattiin Power Querylla.

Taulukkomuotoisen datan organisointi Excel Power Querylla

Pääasiassa Suomessa toimiva asiakkaani oli hankkinut myyntidataa toisen alueen markkinoilta. Data piti saada selkeämpään muotoon, sillä nyt se oli miten sattuu Excel-tiedoston useissa eri välilehdissä.

Excelin taulukoissa lajittelu, suodattaminen ja summaaminen on helpompaa.

Oppitunti 7 - Taulukot, suodata ja lajittele Excelissä

Yhteenveto Taulukkorakenteella on muutama erityispiirre verratuuna tavallisiin soluihin. Excelin taulukkomuodossa olevaa dataa voi helommin lajitella, suodattaa ja laskea. Lisäksi voit valita sopivan teemamuotoilun.

Microsoft Excel 2016 tuo mukanaan uusia ominaisuuksia, jotka tarjoavat tehokäyttäjälle täysin uusia mahdollisuuksia. Mikä muuttuu?

Esittelyssä Excel 2016 - Voimaa datan murskaamiseen

Microsoftin uuden Office-ohjelmistoperheen uuden version on uumoiltu tulevan markkinoille tämän syksyn aikana. Excel 2016 - mikä uutta se tuo? Saimme mahdollisuuden ottaa varaslähdön syksyn 2015 aikana julkaistavan Microsoft Office 2016 tuoteperheen ja sitä myötä Excel 2016-ohjelmistoon.

Datan valmistelu tietokantaan asiakasprojektina. Toteutus tehtiin Excel VBA-ohjelmalla kiinteään hintaan noin viikossa.

Asiakasprojekti: Datan valmistelu tietokantaan

Asiakasyritys oli tekemässä järjestelmän vaihtoa heidän omalle asiakkaalleen. Projektiin liittyen heillä oli tuotetietoja noin sadassa Excel-tiedostossa, jotka täytyi muuttaa yhtä moneksi uudeksi tiedostoksi, jotka sopivat uuteen järjestelmään.

NaN

Beginning PHP and MySQL, Jason Gilmore

Opetti PHP:sta kaiken tarvittavan. Suurin ongelma itselleni oli alussa oppia PHP yleinen toimintaperiaate, sillä kirjan esimerkit koskivat tilannetta, jossa käyttäjällä on oma palvelin, sillä itselläni oli käytössä jaettu palvelin, johon PHP:ta ja sen lisäpaketteja ei tarvinnutkaan asentaa erikseen.