Arkisto: aws

Mikael Ahonen

Kerron avoimesti, mutta anonyymisti eräästä asiakasprojektistani. Tarkoituksena oli tehdä hakurobotti pilveen. Matkassa oli monta mutkaa.

Hakurobotti Amazonin pilvilaskenta-alustalle – Projektikuvaus

Posted 01.03.202001.03.2020 Mikael AhonenKommentoiKategoriat Asiakasprojektit, Liiketoiminta

Kertomus sivutoimisen yritykseni tekemästä asiakasprojektista, jossa automatisoitiin pilvilaskenta-alustalla tietojen hakua internetistä.

Tekninen kuvaus AWS-pilvialustalle toteutetusta hakurobotista. Yritys siirsi datan json-tiedostoina AWS S3-palveluun. Ajastetty python-skripti käynnistyi AWS EC2-instanssilla. EC2-virtuaalikoneella pyörinyt python-koodi kävi kyselemässä hakukonetuloksia Microsoft Azure Cognitive Services-palvelusta, joka oli käytännössä Bing-hakukone. Tulokset kirjoitettiin jälleen S3:een joko CSV- tai Excel-tiedostoina.

Hakurobotti AWS-pilvialustalle – Tekninen kuvaus asiakasprojektista

Posted 01.03.202015.03.2020 Mikael AhonenKommentoiKategoriat Asiakasprojektit, Tietotekniikka

Teknisen toteutuksen kuvaus asiakasprojektissta, jossa toteutin hakurobotin AWS-pilvialustalle nuuskimaan tietoa automatisoidusti netistä.

AWS Glue tutoriaali Pythonilla ja Sparkilla datakehittäjille.

Spark + Python tutoriaali datakehittäjille

Posted 07.10.201913.10.2019 Mikael AhonenKommentoiKategoriat Tietotekniikka

Tutoriaali Spark-rinnakkaislaskentaan Python-ohjelmointikielellä. Esimerkki on ajettu AWS pilvilaskenta-alustalla AWS Glue-palvelussa.

AWS Glue-palvelu soveltuu erityisesti suurten datamäärien, eli niin sanotun big datan prosessointiin eräajona.

Big data ETL – Johdatus AWS Glue-palveluun

Posted 31.08.201901.09.2019 Mikael AhonenKommentoiKategoriat Tietotekniikka

AWS Glue soveltuu erityisesti suurten datamäärien, eli niin sanotun big datan prosessointiin eräajona. Kirjoitus Solitan Data-blogissa.

Web-sovelluksen arkkitehtuuri. Teknisestä kuvauksesta näkee, kuinka eri palvelut liittyvät toisiinsa. Käytettyjä palveluita ovat AWS, elastic beanstalk, docker, flask, route 53, s3, react, cloudfront, certificate manager, rds, github ja ubuntu.

Web-sovellus pilvessä data edellä – Tekninen toteutus

Posted 20.01.201904.11.2019 Mikael AhonenKommentoiKategoriat Tietotekniikka

Tekninen kuvaus data edellä tehdystä web-sovelluksesta, jonka toteutuin AWS-pilvialustalle harrasteprojektina.

Mitä teen työkseni?

Posted 24.11.201804.11.2019 Mikael Ahonen2 CommentsKategoriat Liiketoiminta

Outo englanninkielinen titteli ei usein kerro, mitä työ oikeasti on. Blogitekstissä kerron tarkemmin, millaisia ongelmia ratkon työssäni.

Solitan Datalytics-akatemian scrum koulutus. Scurmin käyttöä havainnollistettiin harjoituksessa, jossa rakennettiin Lego-kaupunki.

Arki Solitalla – Tällaista on ollut työ Data Scientistina

Posted 28.08.201704.11.2019 Mikael Ahonen2 CommentsKategoriat Liiketoiminta

Raportti ensimmäisestä 6 kuukaudestani Solitalla ”data hommissa”. Kokemuksia ja käytännön esimerkkejä asiakasprojekteista.