{"id":943,"date":"2019-09-20T14:08:40","date_gmt":"2019-09-20T12:08:40","guid":{"rendered":"https:\/\/blog.besharp.it\/?p=943"},"modified":"2021-03-17T12:53:12","modified_gmt":"2021-03-17T11:53:12","slug":"machine-learning-su-aws-come-creare-e-deployare-un-servizio-con-aws-sagemaker","status":"publish","type":"post","link":"https:\/\/blog.besharp.it\/it\/machine-learning-su-aws-come-creare-e-deployare-un-servizio-con-aws-sagemaker\/","title":{"rendered":"Machine Learning su AWS: come creare e deployare un servizio con AWS SageMaker"},"content":{"rendered":"<p><span style=\"font-weight: 400;\">Nell\u2019ultimo decennio l\u2019approccio alla gestione del dato \u00e8 drasticamente cambiato: da un lato, grazie al diffondersi di servizi di public Cloud, <strong>il costo di storage \u00e8 sensibilmente diminuito.<\/strong> Dall\u2019altro, con l\u2019utilizzo sempre pi\u00f9 diffuso di ERPs, CRM, piattaforme IoT e altri software di monitoring e profilazione, la raccolta di dati \u00e8 diventata estremamente pi\u00f9 semplice; \u00e8 possibile avere a disposizione <strong>enormi quantit\u00e0 di dati<\/strong> sia sui processi aziendali interni, che sulle preferenze e i comportamenti dei clienti. In altre parole, oggi abbiamo l\u2019opportunit\u00e0 di sfruttare <strong>quantit\u00e0 di informazioni sempre pi\u00f9 grandi e di qualit\u00e0 sempre migliore<\/strong> ad un costo infinitamente ridotto.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">\u00a0<\/span><span style=\"font-weight: 400;\">Negli ultimi anni la facilit\u00e0 crescente di costruzione di dataset di grandi dimensioni su cui poter effettuare analisi ha fatto aumentare enormemente l\u2019interesse verso temi come <strong>Intelligenza Artificiale e Machine Learning (ML),<\/strong> che consentono di creare modelli predittivi a partire dai dataset.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">\u00a0<\/span><span style=\"font-weight: 400;\">La diffusione di dispositivi interconnessi e dell\u2019IoT in generale ha aumentato le opportunit\u00e0 di generare e collezionare molti dati a basso costo. Da qui, grazie all\u2019applicazione di tecniche di Machine Learning hanno preso vita innumerevoli possibilit\u00e0, fino a qualche anno fa inimmaginabili. Si pensi ad esempio alla profilazione dei clienti: di loro oggi possiamo sapere praticamente tutto: quali prodotti usano, come li usano, quali azioni inizialmente non pensate dalle aziende compiono ogni giorno, quali aspetti di ciascun prodotto sono realmente rilevanti nella loro vita quotidiana e molto altro. Spostandosi dal quotidiano all&#8217;industria, poi, \u00e8 facile ottenere informazioni rispetto ad esempio a quali componenti industriali siano pi\u00f9 soggetti all\u2019usura per agire quindi di conseguenza (manutenzione predittiva), sulla base di una semplice raccolta di immagini sapere in anticipo se le componenti meccaniche prodotte siano difettose oppure no, e cos\u00ec via.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">\u00a0<\/span><span style=\"font-weight: 400;\"><strong>La capacit\u00e0 di capire quali dati estrarre, di interpretarli correttamente e di sfruttarli al massimo per farne un uso il pi\u00f9 possibile utile<\/strong> \u00e8 ci\u00f2 che fa realmente la differenza nell\u2019applicazione di questo nuovo approccio e ci\u00f2 che pu\u00f2 davvero attribuire un vantaggio competitivo ad un\u2019azienda rispetto ad un\u2019azienda competitor.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">\u00a0<\/span><span style=\"font-weight: 400;\">I principali provider Cloud come <strong>Amazon Web Services<\/strong> oggi offrono gi\u00e0 una vasta gamma di servizi gestiti dedicati al Machine Learning, utili a soddisfare la stragrande maggioranza dei casi d\u2019uso richiesti dagli utenti.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">\u00a0<\/span><span style=\"font-weight: 400;\">Prima di entrare nel merito di AWS SageMaker quindi facciamo una veloce carrellata dei principali servizi offerti da AWS e delle loro potenzialit\u00e0:<\/span><\/p>\n<ul>\n<li><span style=\"font-weight: 400;\"><strong>Amazon Comprehend:<\/strong> \u201ccapisce\u201d ed estrae informazioni a partire da un testo destrutturato (es.. mails, tickets, etc)<\/span><\/li>\n<li><span style=\"font-weight: 400;\"><strong>Amazon Lex:<\/strong> il servizio dedicato allo sviluppo di interfacce di comunicazione come i Chatbot. (<\/span><span style=\"font-weight: 400;\">Ne abbiamo parlato in questo articolo)<\/span><\/li>\n<li><span style=\"font-weight: 400;\"><strong>Amazon Textract:<\/strong> il servizio che permette di ottenere testo digitale a partire da documenti digitalizzati con o anche senza una struttura precisa<\/span><\/li>\n<li><span style=\"font-weight: 400;\"><strong>Amazon Translate:<\/strong> il servizio per la traduzione automatica di testi da una lingua ad un\u2019altra<\/span><\/li>\n<li><span style=\"font-weight: 400;\"><strong>Amazon Transcribe e Amazon Polly:<\/strong> sono due servizi AWS impiegati nelle trasformazioni \u201cspeech to text\u201d e\/o \u201ctext to speech\u201d<\/span><\/li>\n<li><span style=\"font-weight: 400;\"><strong>Amazon Recommendations and Forecasting:<\/strong> il servizio che sfrutta Amazon.com per effettuare predizioni di acquisto utili agli shop online<\/span><\/li>\n<li><span style=\"font-weight: 400;\"><strong>Amazon Rekognition:<\/strong> estrae informazioni da immagini e video.<\/span><\/li>\n<\/ul>\n<p><span style=\"font-weight: 400;\">\u00a0<\/span><span style=\"font-weight: 400;\">Si tratta per\u00f2 di servizi <\/span><i><span style=\"font-weight: 400;\">completamente gestiti<\/span><\/i><span style=\"font-weight: 400;\">; per chi invece \u00e8 in cerca di una <strong>soluzione pi\u00f9 personalizzabile e flessibile<\/strong> con cui divertirsi ad esplorare le infinite potenzialit\u00e0 del Machine Learning, <strong>ecco AWS SageMaker.<\/strong><\/span><\/p>\n<p><span style=\"font-weight: 400;\">Entriamo quindi nel dettaglio di questo servizio per poi analizzare, nella seconda parte dell\u2019articolo, la struttura di un progetto basato su AWS SageMaker, come creare un semplice modello di previsione e come effettuare <strong>il deploy di un servizio HTTP basato su un modello di Machine Learning.<\/strong><\/span><\/p>\n<h2><span style=\"font-weight: 400;\">\u00a0<\/span><span style=\"font-weight: 400;\">SageMaker: un Building Block<\/span><\/h2>\n<p><span style=\"font-weight: 400;\">\u00a0<\/span><span style=\"font-weight: 400;\">Dalla console di AWS SageMaker possiamo subito notare nella sidebar la lista di tutti <strong>i componenti di SageMaker con le loro configurazioni.<\/strong><\/span><\/p>\n<p><span style=\"font-weight: 400;\">Il servizio AWS SageMaker \u00e8 composto da <\/span><i><span style=\"font-weight: 400;\">sottoservizi:<\/span><\/i><\/p>\n<ul>\n<li><span style=\"font-weight: 400;\"><strong>Ground Truth:<\/strong> questo servizio permette di etichettare un dataset esistente (ad esempio \u00e8 possibile creare bounding boxes per un intero dataset di immagini). Per farlo il servizio sfrutta la human workforce messa a disposizione tramite Amazon Mechanical Turk. \u00c8 anche possibile utilizzare modelli esistenti per etichettare dati e poi delegare alla human workforce esclusivamente gli elementi da classificare sui quali l\u2019incertezza \u00e8 elevata<\/span><\/li>\n<li><span style=\"font-weight: 400;\"><strong>Notebook:<\/strong> \u00e8 un servizio che permette di lanciare in pochi click una Jupyter notebook instance preconfigurata con le librerie pi\u00f9 comuni di data mining e ML (con Tensorflow or PyTorch). \u00c8 possibile avviare l\u2019istanza sia all\u2019interno di una VPC (per aumentare il controllo su accessi e reti), che fuori dalle VPC, cos\u00ec come accade per le Lambda functions.<\/span><\/li>\n<li><span style=\"font-weight: 400;\"><strong>Training:<\/strong> permette di effettuare il deploy di training jobs. I data scientist possono selezionare i modelli rilevanti da trainare, scegliendo tra moltissime librerie di modelli generici gi\u00e0 esistenti. Una volta che il modello sar\u00e0 <\/span><i><span style=\"font-weight: 400;\">addestrato<\/span><\/i><span style=\"font-weight: 400;\">, sar\u00e0 possibile effettuare il deploy.<\/span><\/li>\n<li><span style=\"font-weight: 400;\"><strong>Models:<\/strong> una volta che l\u2019algoritmo \u00e8 stato trainato sulla basa di un determinato training dataset, \u00e8 possibile deployarlo usando la sezione models.<\/span><\/li>\n<\/ul>\n<p><span style=\"font-weight: 400;\">\u00a0<\/span><span style=\"font-weight: 400;\">\u00c8 possibile anche deployare progetti completi di SageMaker direttamente dall\u2019 AWS Marketplace per soddisfare tasks specifici.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">\u00a0<\/span><i><span style=\"font-weight: 400;\">I progetti di ML offerti su Marketplace sono affidabili e trattano un ampio insieme di casistiche; per questo \u00e8 importante scegliere il progetto che pi\u00f9 si addice alle proprie esigenze prima di procedere con lo sviluppo del progetto.<\/span><\/i><\/p>\n<h2><i><span style=\"font-weight: 400;\">\u00a0<\/span><\/i><span style=\"font-weight: 400;\">Un esempio di progetto Machine Learning<\/span><\/h2>\n<p><span style=\"font-weight: 400;\">Quando si sviluppa un servizio basato su ML, il primo passo consiste nella <strong>creazione di una Notebook instance<\/strong> tramite la console AWS. Come mostrato nello screenshot, saranno richiesti un nome per l\u2019istanza, la definizione dell\u2019IAM Role che l\u2019istanza utilizzer\u00e0 e dovremo decidere se vogliamo o meno che la Notebook instance sia inserita in una VPC (In questo caso sar\u00e0 possibile definire anche Security Group e Subnet)<\/span><\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"aligncenter wp-image-948 size-large\" src=\"https:\/\/blog.besharp.it\/wp-content\/uploads\/2019\/09\/unnamed-26-26-1024x904.png\" alt=\"create a notebook instances\" width=\"1024\" height=\"904\" srcset=\"https:\/\/blog.besharp.it\/wp-content\/uploads\/2019\/09\/unnamed-26-26-1024x904.png 1024w, https:\/\/blog.besharp.it\/wp-content\/uploads\/2019\/09\/unnamed-26-26-340x300.png 340w, https:\/\/blog.besharp.it\/wp-content\/uploads\/2019\/09\/unnamed-26-26-768x678.png 768w, https:\/\/blog.besharp.it\/wp-content\/uploads\/2019\/09\/unnamed-26-26-1536x1356.png 1536w, https:\/\/blog.besharp.it\/wp-content\/uploads\/2019\/09\/unnamed-26-26.png 1600w\" sizes=\"(max-width: 1024px) 100vw, 1024px\" \/><\/p>\n<p><span style=\"font-weight: 400;\">Anche se decidiamo di non inserire l\u2019istanza in una VPC, <strong>lo Jupiter notebook potr\u00e0 essere raggiunto esclusivamente un pre-sign URL, generato dalle nostre credenziali AWS.<\/strong> Una volta aperta la Jupiter notebook, ci troveremo di fronte all\u2019interfaccia standard Jupiter Nootebook:<\/span><\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"aligncenter wp-image-950 size-large\" src=\"https:\/\/blog.besharp.it\/wp-content\/uploads\/2019\/09\/unnamed-27-1024x215.png\" alt=\"jupiter notebook\" width=\"1024\" height=\"215\" srcset=\"https:\/\/blog.besharp.it\/wp-content\/uploads\/2019\/09\/unnamed-27-1024x215.png 1024w, https:\/\/blog.besharp.it\/wp-content\/uploads\/2019\/09\/unnamed-27-400x84.png 400w, https:\/\/blog.besharp.it\/wp-content\/uploads\/2019\/09\/unnamed-27-768x161.png 768w, https:\/\/blog.besharp.it\/wp-content\/uploads\/2019\/09\/unnamed-27-1536x323.png 1536w, https:\/\/blog.besharp.it\/wp-content\/uploads\/2019\/09\/unnamed-27.png 1600w\" sizes=\"(max-width: 1024px) 100vw, 1024px\" \/><\/p>\n<p><span style=\"font-weight: 400;\">Nella \u201cExample tab\u201d, AWS fornisce una lista di esempi per aiutare i data scientists a prendere confidenza con SageMaker.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Noi abbiamo scelto di seguire l\u2019esempio di Image Classification utilizzando il dataset <strong>Caltech 256.<\/strong><\/span><\/p>\n<p><span style=\"font-weight: 400;\">Clicchiamo su <em><strong>Use Image-classification-fulltraining.ipynb e cominciamo.<\/strong><\/em><\/span><\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"aligncenter wp-image-952 size-large\" src=\"https:\/\/blog.besharp.it\/wp-content\/uploads\/2019\/09\/unnamed-28-1024x247.png\" alt=\"Use Image-classification-fulltraining.ipynb\" width=\"1024\" height=\"247\" srcset=\"https:\/\/blog.besharp.it\/wp-content\/uploads\/2019\/09\/unnamed-28-1024x247.png 1024w, https:\/\/blog.besharp.it\/wp-content\/uploads\/2019\/09\/unnamed-28-400x97.png 400w, https:\/\/blog.besharp.it\/wp-content\/uploads\/2019\/09\/unnamed-28-768x185.png 768w, https:\/\/blog.besharp.it\/wp-content\/uploads\/2019\/09\/unnamed-28-1536x371.png 1536w, https:\/\/blog.besharp.it\/wp-content\/uploads\/2019\/09\/unnamed-28.png 1600w\" sizes=\"(max-width: 1024px) 100vw, 1024px\" \/><\/p>\n<p><span style=\"font-weight: 400;\">Verr\u00e0 mostrato un normale Jupiter Notebook. Andiamo semplicemente a seguire le istruzioni fornite:<\/span><\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"aligncenter wp-image-954 size-large\" src=\"https:\/\/blog.besharp.it\/wp-content\/uploads\/2019\/09\/unnamed-29-1024x696.png\" alt=\"jupiter notebook instructions\" width=\"1024\" height=\"696\" srcset=\"https:\/\/blog.besharp.it\/wp-content\/uploads\/2019\/09\/unnamed-29-1024x696.png 1024w, https:\/\/blog.besharp.it\/wp-content\/uploads\/2019\/09\/unnamed-29-400x272.png 400w, https:\/\/blog.besharp.it\/wp-content\/uploads\/2019\/09\/unnamed-29-768x522.png 768w, https:\/\/blog.besharp.it\/wp-content\/uploads\/2019\/09\/unnamed-29-1536x1044.png 1536w, https:\/\/blog.besharp.it\/wp-content\/uploads\/2019\/09\/unnamed-29.png 1600w\" sizes=\"(max-width: 1024px) 100vw, 1024px\" \/><\/p>\n<p><span style=\"font-weight: 400;\">Il primo passo sar\u00e0 <strong>creare un bucket S3.<\/strong> Assicuriamoci quindi che il ruolo che abbiamo assegnato alla Notebook instance abbia i <strong>permessi di lettura e scrittura<\/strong> su quel bucket. <\/span><\/p>\n<p><span style=\"font-weight: 400;\">Avviato il template, <strong>scaricheremo il dataset Caltech 256<\/strong> e prepareremo il training job per l&#8217;algoritmo di image classification. L\u2019algoritmo utilizzato in questo esempio \u00e8 l\u2019algoritmo <strong>AWS Image Classification<\/strong> il quale si basa su una rete neurale convoluzionale (ResNet). AWS fornisce un ampio array di algoritmi generali ottimizzati per SageMaker (<a href=\"https:\/\/docs.aws.amazon.com\/sagemaker\/latest\/dg\/algos.html\" target=\"_blank\" rel=\"noopener noreferrer\">Per pi\u00f9 info, leggi la documentazione di AWS<\/a><\/span><span style=\"font-weight: 400;\">). In ogni caso sar\u00e0 comunque possibile deployare un modello custom da trainare all\u2019interno di un docker container.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">\u00c8 importante comprendere come splittare il dataset in due parti: una parte per il <strong>training<\/strong> e una parte di <strong>validazione<\/strong>. In questo esempio ogni classe dell\u2019immagine (ball, bathtub, Mars, riffle, ecc) verr\u00e0 divisa in due set: 60 immagini di training e le restanti per la validazione.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Prima di iniziare col training, \u00e8 fondamentale <strong>scegliere con cura gli Hyperparameters sensibili:<\/strong> una scelta non accurata avr\u00e0 come risultato un algoritmo non performante. La scelta di questi parametri \u00e8 spesso una questione di \u201cprove ed errori\u201d; per questa particolare applicazione, i parametri pi\u00f9 rilevanti saranno learning rate ed epochs number.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">Il <strong>Learning Rate<\/strong> non \u00e8 altro che la lunghezza del vettore dell\u2019algoritmo di Steepest Descent: se troppo alta, avremo oltrepassato l\u2019optimum, se troppo bassa il training andr\u00e0 avanti all\u2019infinito e non otterremo mai un risultato stabile. L\u2019<strong>epochs number<\/strong> \u00e8 invece il valore che indica quante volte l\u2019intero dataset \u00e8 passato avanti e indietro attraverso la rete neurale. Un epoch number troppo basso significher\u00e0 che il modello non avr\u00e0 appreso abbastanza e otterremo quindi cattivi risultati ma il tempo di training sar\u00e0 breve. Al contrario, un epoch numer alto porter\u00e0 ad un overfitting dei dati e perci\u00f2 di nuovo a risultati poco accurati e a un tempo di apprendimento molto lungo. <strong>Sia l\u2019overfitting, che l\u2019underfitting sono negativi<\/strong> in quanto causeranno una cattiva performance del modello trainato durante la validazione dei dati.<\/span><\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"size-large wp-image-957 aligncenter\" src=\"https:\/\/blog.besharp.it\/wp-content\/uploads\/2019\/09\/unnamed-30-1024x324.png\" alt=\"\" width=\"1024\" height=\"324\" srcset=\"https:\/\/blog.besharp.it\/wp-content\/uploads\/2019\/09\/unnamed-30-1024x324.png 1024w, https:\/\/blog.besharp.it\/wp-content\/uploads\/2019\/09\/unnamed-30-400x127.png 400w, https:\/\/blog.besharp.it\/wp-content\/uploads\/2019\/09\/unnamed-30-768x243.png 768w, https:\/\/blog.besharp.it\/wp-content\/uploads\/2019\/09\/unnamed-30-1536x487.png 1536w, https:\/\/blog.besharp.it\/wp-content\/uploads\/2019\/09\/unnamed-30.png 1600w\" sizes=\"(max-width: 1024px) 100vw, 1024px\" \/><\/p>\n<p><span style=\"font-weight: 400;\">Ad esempio, utilizzando i valori di default forniti da AWS, in questo caso il tempo di training \u00e8 molto basso (una manciata di minuti), ma il modello classificher\u00e0 ogni immagine vagamente rossiccia o appena rotondeggiante come\u2026 Marte \ud83d\ude42\u00a0<\/span><\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"size-large wp-image-959 aligncenter\" src=\"https:\/\/blog.besharp.it\/wp-content\/uploads\/2019\/09\/unnamed-31-1024x428.png\" alt=\"\" width=\"1024\" height=\"428\" srcset=\"https:\/\/blog.besharp.it\/wp-content\/uploads\/2019\/09\/unnamed-31-1024x428.png 1024w, https:\/\/blog.besharp.it\/wp-content\/uploads\/2019\/09\/unnamed-31-400x167.png 400w, https:\/\/blog.besharp.it\/wp-content\/uploads\/2019\/09\/unnamed-31-768x321.png 768w, https:\/\/blog.besharp.it\/wp-content\/uploads\/2019\/09\/unnamed-31-1536x641.png 1536w, https:\/\/blog.besharp.it\/wp-content\/uploads\/2019\/09\/unnamed-31.png 1600w\" sizes=\"(max-width: 1024px) 100vw, 1024px\" \/><\/p>\n<p><span style=\"font-weight: 400;\">Una volta che il training sar\u00e0 completato, sar\u00e0 ora di <strong>deployare il modello che \u00e8 stato trainato meglio.<\/strong> Possiamo creare il modello utilizzando il risultato del training:<\/span><\/p>\n<pre>model_name=\"DEMO-full-image-classification-model\" + time.strftime('-%Y-%m-%d-%H-%M-%S', time.gmtime())\r\nprint(model_name)\r\ninfo = sage.describe_training_job(TrainingJobName=job_name)\r\nmodel_data = info['ModelArtifacts']['S3ModelArtifacts']\r\nprint(model_data)\r\n\r\nhosting_image = get_image_uri(boto3.Session().region_name, 'image-classification')\r\n\r\nprimary_container = {\r\n    'Image': hosting_image,\r\n    'ModelDataUrl': model_data,\r\n}\r\n\r\ncreate_model_response = sage.create_model(\r\n    ModelName = model_name,\r\n    ExecutionRoleArn = role,\r\n    PrimaryContainer = primary_container)\r\n\r\nprint(create_model_response['ModelArn'])\r\n<\/pre>\n<p>A questo punto, procediamo <strong>scegliendo la parte di dataset da utilizzare per il testing:<\/strong> in questo caso la scelta \u00e8 ricaduta su <strong>bathtubs:<\/strong><\/p>\n<pre>batch_input = 's3:\/\/{}\/image-classification-full-training\/test\/'.format(bucket)\r\ntest_images = '\/tmp\/images\/008.bathtub'\r\n\r\n!aws s3 cp $test_images $batch_input --recursive --quiet\r\n<\/pre>\n<p>Creiamo ora un <strong>batch job<\/strong> per mandare tutte le immagini di test al modello per classificarle.<\/p>\n<pre>timestamp = time.strftime('-%Y-%m-%d-%H-%M-%S', time.gmtime())\r\nbatch_job_name = \"image-classification-model\" + timestamp\r\nrequest = \\\r\n{\r\n    \"TransformJobName\": batch_job_name,\r\n    \"ModelName\": model_name,\r\n    \"MaxConcurrentTransforms\": 16,\r\n    \"MaxPayloadInMB\": 6,\r\n    \"BatchStrategy\": \"SingleRecord\",\r\n    \"TransformOutput\": {\r\n        \"S3OutputPath\": 's3:\/\/{}\/{}\/output'.format(bucket, batch_job_name)\r\n    },\r\n    \"TransformInput\": {\r\n        \"DataSource\": {\r\n            \"S3DataSource\": {\r\n                \"S3DataType\": \"S3Prefix\",\r\n                \"S3Uri\": batch_input\r\n            }\r\n        },\r\n        \"ContentType\": \"application\/x-image\",\r\n        \"SplitType\": \"None\",\r\n        \"CompressionType\": \"None\"\r\n    },\r\n    \"TransformResources\": {\r\n            \"InstanceType\": \"ml.p2.xlarge\",\r\n            \"InstanceCount\": 1\r\n    }\r\n}\r\n\r\nsagemaker = boto3.client('sagemaker')\r\nsagemaker.create_transform_job(**request)\r\n\r\nprint(\"Created Transform job with name: \", batch_job_name)\r\n\r\nwhile(True):\r\n    response = sagemaker.describe_transform_job(TransformJobName=batch_job_name)\r\n    status = response['TransformJobStatus']\r\n    if status == 'Completed':\r\n        print(\"Transform job ended with status: \" + status)\r\n        break\r\n    if status == 'Failed':\r\n        message = response['FailureReason']\r\n        print('Transform failed with the following error: {}'.format(message))\r\n        raise Exception('Transform job failed') \r\n    time.sleep(30)\r\n<\/pre>\n<p><strong>La creazione di un batch job accender\u00e0 una istanza EC2<\/strong> (del taglio prescelto) per procedere con la classificazione delle immagini. Una volta che il processo sar\u00e0 concluso, potremo controllare il risultato: se saranno stati utilizzati solo due epochs durante il training, pochissime immagini saranno classificate correttamente.<\/p>\n<p>Quando saremo soddisfatti del risultato, potremo <strong>procedere con la creazione di un endpoint e, successivamente, a deployare il modello:<\/strong><\/p>\n<pre>from time import gmtime, strftime\r\njob_name_prefix = \"test\"\r\n\r\ntimestamp = time.strftime('-%Y-%m-%d-%H-%M-%S', time.gmtime())\r\nendpoint_config_name = job_name_prefix + '-epc-' + timestamp\r\nendpoint_config_response = sage.create_endpoint_config(\r\n    EndpointConfigName = endpoint_config_name,\r\n    ProductionVariants=[{\r\n        'InstanceType':'ml.m4.xlarge',\r\n        'InitialInstanceCount':1,\r\n        'ModelName':model_name,\r\n        'VariantName':'AllTraffic'}])\r\n\r\ntimestamp = time.strftime('-%Y-%m-%d-%H-%M-%S', time.gmtime())\r\nendpoint_name = job_name_prefix + '-ep-' + timestamp\r\nprint('Endpoint name: {}'.format(endpoint_name))\r\n\r\nendpoint_params = {\r\n    'EndpointName': endpoint_name,\r\n    'EndpointConfigName': endpoint_config_name,\r\n}\r\nendpoint_response = sagemaker.create_endpoint(**endpoint_params)\r\n<\/pre>\n<p>Una volta creato l\u2019endpoint, possiamo inviargli le immagini <strong>tramite HTTP utilizzando gli AWS SDKs,<\/strong> ad esempio utilizzando Python boto3.<\/p>\n<p><strong>Il comando sar\u00e0:<\/strong><\/p>\n<pre>runtime.invoke_endpoint(EndpointName=endpoint_name, \r\n                                   ContentType='application\/x-image', \r\n                                   Body=payload)\r\n<\/pre>\n<p>Dove<\/p>\n<pre>payload<\/pre>\n<p>\u00e8 l&#8217;immagine.<\/p>\n<p><span style=\"font-weight: 400;\">L\u2019endpoint pu\u00f2 essere utilizzato sia da applicazioni deployate su AWS &#8211; a condizione che il loro IAM Role permetta di invocare gli endpoints di AWS SageMaker (es. Lambda functions, Microservizi docker che funzionano su Fargate, applicazioni deployate su istanze EC2), sia da applicazioni on-premise o addirittura direttamente su Client a condizione che esse riescano ad autenticare le loro API calls utilizzando le credenziali AWS.<\/span><\/p>\n<p><span style=\"font-weight: 400;\">In questo articolo abbiamo visto insieme <strong>come deployare una semplice applicazione di Machine Learning con AWS SageMaker.<\/strong> Divertente vero? Il Machine Learning vi affascina? Allora restate sintonizzati: presto molti altri articoli! E se avete curiosit\u00e0 <a href=\"https:\/\/www.besharp.it\/contact-us\/\" target=\"_blank\" rel=\"noopener noreferrer\">contattateci!<\/a><\/span><\/p>\n","protected":false},"excerpt":{"rendered":"<p>Nell\u2019ultimo decennio l\u2019approccio alla gestione del dato \u00e8 drasticamente cambiato: da un lato, grazie al diffondersi di servizi di public [&hellip;]<\/p>\n","protected":false},"author":9,"featured_media":961,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[247],"tags":[321,299,323],"yoast_head":"<!-- This site is optimized with the Yoast SEO plugin v21.9.1 - https:\/\/yoast.com\/wordpress\/plugins\/seo\/ -->\n<title>Machine Learning su AWS: come creare e deployare un servizio con AWS SageMaker - Proud2beCloud Blog<\/title>\n<meta name=\"description\" content=\"per chi \u00e8 in cerca di una soluzione pi\u00f9 personalizzabile con cui divertirsi ad esplorare le infinite potenzialit\u00e0 del Machine Learning, ecco AWS SageMaker.\" \/>\n<meta name=\"robots\" content=\"index, follow, max-snippet:-1, max-image-preview:large, max-video-preview:-1\" \/>\n<link rel=\"canonical\" href=\"https:\/\/blog.besharp.it\/it\/machine-learning-su-aws-come-creare-e-deployare-un-servizio-con-aws-sagemaker\/\" \/>\n<meta property=\"og:locale\" content=\"it_IT\" \/>\n<meta property=\"og:type\" content=\"article\" \/>\n<meta property=\"og:title\" content=\"Machine Learning su AWS: come creare e deployare un servizio con AWS SageMaker\" \/>\n<meta property=\"og:description\" content=\"per chi \u00e8 in cerca di una soluzione pi\u00f9 personalizzabile con cui divertirsi ad esplorare le infinite potenzialit\u00e0 del Machine Learning, ecco AWS SageMaker.\" \/>\n<meta property=\"og:url\" content=\"https:\/\/blog.besharp.it\/it\/machine-learning-su-aws-come-creare-e-deployare-un-servizio-con-aws-sagemaker\/\" \/>\n<meta property=\"og:site_name\" content=\"Proud2beCloud Blog\" \/>\n<meta property=\"article:published_time\" content=\"2019-09-20T12:08:40+00:00\" \/>\n<meta property=\"article:modified_time\" content=\"2021-03-17T11:53:12+00:00\" \/>\n<meta property=\"og:image\" content=\"https:\/\/blog.besharp.it\/wp-content\/uploads\/2019\/09\/sagemaker-14-14.png\" \/>\n\t<meta property=\"og:image:width\" content=\"1668\" \/>\n\t<meta property=\"og:image:height\" content=\"1251\" \/>\n\t<meta property=\"og:image:type\" content=\"image\/png\" \/>\n<meta name=\"author\" content=\"Matteo Moroni\" \/>\n<meta name=\"twitter:card\" content=\"summary_large_image\" \/>\n<meta name=\"twitter:title\" content=\"Machine Learning su AWS: come creare e deployare un servizio con AWS SageMaker\" \/>\n<meta name=\"twitter:description\" content=\"per chi \u00e8 in cerca di una soluzione pi\u00f9 personalizzabile con cui divertirsi ad esplorare le infinite potenzialit\u00e0 del Machine Learning, ecco AWS SageMaker.\" \/>\n<meta name=\"twitter:image\" content=\"https:\/\/blog.besharp.it\/wp-content\/uploads\/2019\/09\/sagemaker-14-14.png\" \/>\n<meta name=\"twitter:label1\" content=\"Scritto da\" \/>\n\t<meta name=\"twitter:data1\" content=\"Matteo Moroni\" \/>\n\t<meta name=\"twitter:label2\" content=\"Tempo di lettura stimato\" \/>\n\t<meta name=\"twitter:data2\" content=\"10 minuti\" \/>\n<script type=\"application\/ld+json\" class=\"yoast-schema-graph\">{\"@context\":\"https:\/\/schema.org\",\"@graph\":[{\"@type\":\"WebPage\",\"@id\":\"https:\/\/blog.besharp.it\/it\/machine-learning-su-aws-come-creare-e-deployare-un-servizio-con-aws-sagemaker\/\",\"url\":\"https:\/\/blog.besharp.it\/it\/machine-learning-su-aws-come-creare-e-deployare-un-servizio-con-aws-sagemaker\/\",\"name\":\"Machine Learning su AWS: come creare e deployare un servizio con AWS SageMaker - Proud2beCloud Blog\",\"isPartOf\":{\"@id\":\"https:\/\/blog.besharp.it\/it\/#website\"},\"datePublished\":\"2019-09-20T12:08:40+00:00\",\"dateModified\":\"2021-03-17T11:53:12+00:00\",\"author\":{\"@id\":\"https:\/\/blog.besharp.it\/it\/#\/schema\/person\/0b3e69eb2dcb125d58476b906ec1c7bc\"},\"description\":\"per chi \u00e8 in cerca di una soluzione pi\u00f9 personalizzabile con cui divertirsi ad esplorare le infinite potenzialit\u00e0 del Machine Learning, ecco AWS SageMaker.\",\"breadcrumb\":{\"@id\":\"https:\/\/blog.besharp.it\/it\/machine-learning-su-aws-come-creare-e-deployare-un-servizio-con-aws-sagemaker\/#breadcrumb\"},\"inLanguage\":\"it-IT\",\"potentialAction\":[{\"@type\":\"ReadAction\",\"target\":[\"https:\/\/blog.besharp.it\/it\/machine-learning-su-aws-come-creare-e-deployare-un-servizio-con-aws-sagemaker\/\"]}]},{\"@type\":\"BreadcrumbList\",\"@id\":\"https:\/\/blog.besharp.it\/it\/machine-learning-su-aws-come-creare-e-deployare-un-servizio-con-aws-sagemaker\/#breadcrumb\",\"itemListElement\":[{\"@type\":\"ListItem\",\"position\":1,\"name\":\"Home\",\"item\":\"https:\/\/blog.besharp.it\/it\/\"},{\"@type\":\"ListItem\",\"position\":2,\"name\":\"Machine Learning su AWS: come creare e deployare un servizio con AWS SageMaker\"}]},{\"@type\":\"WebSite\",\"@id\":\"https:\/\/blog.besharp.it\/it\/#website\",\"url\":\"https:\/\/blog.besharp.it\/it\/\",\"name\":\"Proud2beCloud Blog\",\"description\":\"il blog di beSharp\",\"alternateName\":\"Proud2beCloud Blog\",\"potentialAction\":[{\"@type\":\"SearchAction\",\"target\":{\"@type\":\"EntryPoint\",\"urlTemplate\":\"https:\/\/blog.besharp.it\/it\/?s={search_term_string}\"},\"query-input\":\"required name=search_term_string\"}],\"inLanguage\":\"it-IT\"},{\"@type\":\"Person\",\"@id\":\"https:\/\/blog.besharp.it\/it\/#\/schema\/person\/0b3e69eb2dcb125d58476b906ec1c7bc\",\"name\":\"Matteo Moroni\",\"image\":{\"@type\":\"ImageObject\",\"inLanguage\":\"it-IT\",\"@id\":\"https:\/\/blog.besharp.it\/it\/#\/schema\/person\/image\/\",\"url\":\"https:\/\/secure.gravatar.com\/avatar\/acad790b9bb4c6d62e076ecdc1debb35?s=96&d=mm&r=g\",\"contentUrl\":\"https:\/\/secure.gravatar.com\/avatar\/acad790b9bb4c6d62e076ecdc1debb35?s=96&d=mm&r=g\",\"caption\":\"Matteo Moroni\"},\"description\":\"DevOps e Solution Architect di beSharp, mi occupo di sviluppare soluzioni Saas, Data Analysis, HPC e di progettare architetture non convenzionali a complessit\u00e0 divergente. Appassionato di informatica e fisica, da sempre lavoro nella prima e ho un PhD nella seconda. Parlare di tutto ci\u00f2 che \u00e8 tecnico e nerd mi rende felice!\",\"url\":\"https:\/\/blog.besharp.it\/it\/author\/matteo-moroni\/\"}]}<\/script>\n<!-- \/ Yoast SEO plugin. -->","yoast_head_json":{"title":"Machine Learning su AWS: come creare e deployare un servizio con AWS SageMaker - Proud2beCloud Blog","description":"per chi \u00e8 in cerca di una soluzione pi\u00f9 personalizzabile con cui divertirsi ad esplorare le infinite potenzialit\u00e0 del Machine Learning, ecco AWS SageMaker.","robots":{"index":"index","follow":"follow","max-snippet":"max-snippet:-1","max-image-preview":"max-image-preview:large","max-video-preview":"max-video-preview:-1"},"canonical":"https:\/\/blog.besharp.it\/it\/machine-learning-su-aws-come-creare-e-deployare-un-servizio-con-aws-sagemaker\/","og_locale":"it_IT","og_type":"article","og_title":"Machine Learning su AWS: come creare e deployare un servizio con AWS SageMaker","og_description":"per chi \u00e8 in cerca di una soluzione pi\u00f9 personalizzabile con cui divertirsi ad esplorare le infinite potenzialit\u00e0 del Machine Learning, ecco AWS SageMaker.","og_url":"https:\/\/blog.besharp.it\/it\/machine-learning-su-aws-come-creare-e-deployare-un-servizio-con-aws-sagemaker\/","og_site_name":"Proud2beCloud Blog","article_published_time":"2019-09-20T12:08:40+00:00","article_modified_time":"2021-03-17T11:53:12+00:00","og_image":[{"width":1668,"height":1251,"url":"https:\/\/blog.besharp.it\/wp-content\/uploads\/2019\/09\/sagemaker-14-14.png","type":"image\/png"}],"author":"Matteo Moroni","twitter_card":"summary_large_image","twitter_title":"Machine Learning su AWS: come creare e deployare un servizio con AWS SageMaker","twitter_description":"per chi \u00e8 in cerca di una soluzione pi\u00f9 personalizzabile con cui divertirsi ad esplorare le infinite potenzialit\u00e0 del Machine Learning, ecco AWS SageMaker.","twitter_image":"https:\/\/blog.besharp.it\/wp-content\/uploads\/2019\/09\/sagemaker-14-14.png","twitter_misc":{"Scritto da":"Matteo Moroni","Tempo di lettura stimato":"10 minuti"},"schema":{"@context":"https:\/\/schema.org","@graph":[{"@type":"WebPage","@id":"https:\/\/blog.besharp.it\/it\/machine-learning-su-aws-come-creare-e-deployare-un-servizio-con-aws-sagemaker\/","url":"https:\/\/blog.besharp.it\/it\/machine-learning-su-aws-come-creare-e-deployare-un-servizio-con-aws-sagemaker\/","name":"Machine Learning su AWS: come creare e deployare un servizio con AWS SageMaker - Proud2beCloud Blog","isPartOf":{"@id":"https:\/\/blog.besharp.it\/it\/#website"},"datePublished":"2019-09-20T12:08:40+00:00","dateModified":"2021-03-17T11:53:12+00:00","author":{"@id":"https:\/\/blog.besharp.it\/it\/#\/schema\/person\/0b3e69eb2dcb125d58476b906ec1c7bc"},"description":"per chi \u00e8 in cerca di una soluzione pi\u00f9 personalizzabile con cui divertirsi ad esplorare le infinite potenzialit\u00e0 del Machine Learning, ecco AWS SageMaker.","breadcrumb":{"@id":"https:\/\/blog.besharp.it\/it\/machine-learning-su-aws-come-creare-e-deployare-un-servizio-con-aws-sagemaker\/#breadcrumb"},"inLanguage":"it-IT","potentialAction":[{"@type":"ReadAction","target":["https:\/\/blog.besharp.it\/it\/machine-learning-su-aws-come-creare-e-deployare-un-servizio-con-aws-sagemaker\/"]}]},{"@type":"BreadcrumbList","@id":"https:\/\/blog.besharp.it\/it\/machine-learning-su-aws-come-creare-e-deployare-un-servizio-con-aws-sagemaker\/#breadcrumb","itemListElement":[{"@type":"ListItem","position":1,"name":"Home","item":"https:\/\/blog.besharp.it\/it\/"},{"@type":"ListItem","position":2,"name":"Machine Learning su AWS: come creare e deployare un servizio con AWS SageMaker"}]},{"@type":"WebSite","@id":"https:\/\/blog.besharp.it\/it\/#website","url":"https:\/\/blog.besharp.it\/it\/","name":"Proud2beCloud Blog","description":"il blog di beSharp","alternateName":"Proud2beCloud Blog","potentialAction":[{"@type":"SearchAction","target":{"@type":"EntryPoint","urlTemplate":"https:\/\/blog.besharp.it\/it\/?s={search_term_string}"},"query-input":"required name=search_term_string"}],"inLanguage":"it-IT"},{"@type":"Person","@id":"https:\/\/blog.besharp.it\/it\/#\/schema\/person\/0b3e69eb2dcb125d58476b906ec1c7bc","name":"Matteo Moroni","image":{"@type":"ImageObject","inLanguage":"it-IT","@id":"https:\/\/blog.besharp.it\/it\/#\/schema\/person\/image\/","url":"https:\/\/secure.gravatar.com\/avatar\/acad790b9bb4c6d62e076ecdc1debb35?s=96&d=mm&r=g","contentUrl":"https:\/\/secure.gravatar.com\/avatar\/acad790b9bb4c6d62e076ecdc1debb35?s=96&d=mm&r=g","caption":"Matteo Moroni"},"description":"DevOps e Solution Architect di beSharp, mi occupo di sviluppare soluzioni Saas, Data Analysis, HPC e di progettare architetture non convenzionali a complessit\u00e0 divergente. Appassionato di informatica e fisica, da sempre lavoro nella prima e ho un PhD nella seconda. Parlare di tutto ci\u00f2 che \u00e8 tecnico e nerd mi rende felice!","url":"https:\/\/blog.besharp.it\/it\/author\/matteo-moroni\/"}]}},"_links":{"self":[{"href":"https:\/\/blog.besharp.it\/it\/wp-json\/wp\/v2\/posts\/943"}],"collection":[{"href":"https:\/\/blog.besharp.it\/it\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/blog.besharp.it\/it\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/blog.besharp.it\/it\/wp-json\/wp\/v2\/users\/9"}],"replies":[{"embeddable":true,"href":"https:\/\/blog.besharp.it\/it\/wp-json\/wp\/v2\/comments?post=943"}],"version-history":[{"count":0,"href":"https:\/\/blog.besharp.it\/it\/wp-json\/wp\/v2\/posts\/943\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/blog.besharp.it\/it\/wp-json\/wp\/v2\/media\/961"}],"wp:attachment":[{"href":"https:\/\/blog.besharp.it\/it\/wp-json\/wp\/v2\/media?parent=943"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/blog.besharp.it\/it\/wp-json\/wp\/v2\/categories?post=943"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/blog.besharp.it\/it\/wp-json\/wp\/v2\/tags?post=943"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}