Come creare CI/CD Pipeline flessibili su AWS con Fargate e SQS

• Source: AWS CodePipeline avvia un container completamente gestito e configurato da AWS che si occupa di eseguire il pull del commit desiderato dal repository git del progetto e salvarlo sul bucket S3 di appoggio della pipeline come un bundle compresso. Questa operazione viene triggerata automaticamente tramite AWS CloudWatch events ogni volta che uno sviluppatore esegue un push se il repository git è ospitato su AWS CodeCommit oppure su GitHub, mentre per altri servizi git è necessario configurare un webhook.
• Build: AWS CodePipeline avvia un container Docker configurabile dall’utente tramite il servizio AWS CodeBuild che all’avvio scarica il codice precedentemente salvato su S3 per eseguire gli step di build, test ed eventuali altri step di preparazione al deploy.
• Deploy: questo step può utilizzare diversi altri servizi AWS per eseguire il deploy del codice compilato e testato nello step precedente; per esempio può aggiornare la versione di una Webapp tramite AWS CodeDeploy oppure utilizzare AWS CloudFormation per deployare una nuova versione di una AWS Lambda Function o aggiornare le task definition dei container su ECS

Servizi utilizzati per la soluzione:

Schema dell’infrastruttura della soluzione proposta

{
  "source": [
    "aws.codecommit"
  ],
  "detail-type": [
    "CodeCommit Repository State Change"
  ],
  "resources": [
    "arn:aws:codecommit:eu-west-1:<ACCOUNT_ID>:<REPOSITORY>",
    ...
  ],
  "detail": {
    "event": [
      "referenceCreated",
      "referenceUpdated"
    ]
  }
}

FROM ubuntu:16.04
RUN apt-get update
RUN apt-get install wget -y
RUN apt-get install numactl -y
RUN apt-get install jq -y
RUN apt-get install zip -y
RUN apt-get install git -y
RUN apt-get install software-properties-common -y
RUN add-apt-repository ppa:jonathonf/python-3.6 -y
RUN apt-get update
RUN apt-get install python3.6 -y
RUN wget https://bootstrap.pypa.io/get-pip.py
RUN python3.6 get-pip.py
RUN pip3.6 install awscli --upgrade
RUN pip3.6 install boto3
RUN mkdir /pipeline_source
WORKDIR /pipeline_source
ADD ./codecommit_source.sh /pipeline_source/codecommit_source.sh
RUN chmod +x /pipeline_source/codecommit_source.sh
CMD /pipeline_source/codecommit_source.sh

#!/bin/bash
set -Eeuxo pipefail

MESSAGE=$(aws sqs receive-message --queue-url https://sqs.eu-west-1.amazonaws.com/<account-id>/custom-codecommit-events.fifo --wait-time-seconds 20)
RECEIPT_HANDLE=$(echo $MESSAGE | jq -r '.Messages | .[] | .ReceiptHandle')

aws sqs delete-message --queue-url https://sqs.eu-west-1.amazonaws.com/<account-id>/custom-codecommit-events.fifo --receipt-handle $RECEIPT_HANDLE

if [ -n "$MESSAGE" ]
then
EVENT=$(echo $MESSAGE | jq -r '.Messages | .[] | .Body | fromjson')
REPOSITORY_NAME=$(echo $EVENT | jq -r '.detail | .repositoryName')
COMMIT_ID=$(echo $EVENT | jq -r '.detail | .commitId')
BRANCH_NAME=$(echo $EVENT | jq -r '.detail | .referenceName')
REPO_URL=https://git-codecommit.eu-west-1.amazonaws.com/v1/repos/$REPOSITORY_NAME
git config --global credential.helper '!aws codecommit credential-helper $@'
git config --global credential.UseHttpPath true
git clone --depth 10 --branch $BRANCH_NAME $REPO_URL

cd $REPOSITORY_NAME
git checkout $COMMIT_ID
rm -rf .git 
zip -r ../$COMMIT_ID.zip .
cd ..

rm -rf $REPOSITORY_NAME

if [ -s $COMMIT_ID.zip ]
then
CODEBUILD_PROJECT=$REPOSITORY_NAME

if [ $BRANCH_NAME != "test" ] && [ $BRANCH_NAME != "develop" ] && [ $BRANCH_NAME != "staging" ] 
then 

aws s3 cp $COMMIT_ID.zip s3://$CODE_BUCKET/$REPOSITORY_NAME/$BRANCH_NAME/$COMMIT_ID.zip
echo s3://$CODE_BUCKET/$REPOSITORY_NAME/$BRANCH_NAME/$COMMIT_ID.zip
aws codebuild start-build --project-name $CODEBUILD_PROJECT --environment-variables-override name=COMMIT_ID,value=$COMMIT_ID,type=PLAINTEXT --source-type-override S3 --source-location-override $CODE_BUCKET/$REPOSITORY_NAME/$BRANCH_NAME/$COMMIT_ID.zip --artifacts-override type=NO_ARTIFACTS

fi
fi
else
echo "no message in queque"
fi