Archives de catégorie : Azure

Publier une application Azure Managed Application avec BluePrint

Après un premier billet sur la gouvernance on continue. BluePrint permet de standardiser nos souscriptions pour déployer des ressources (Templates ARM) et imposer des règles (Azure BluePrints). Combiné avec d’autres fonctionnalités, on peut encadrer l’usage qui est fait d’Azure en proposant nos propres services. C’est ce que je vous propose d’illustrer dans ce billet avec Azure Managed Application. Quand on développe des applications dans Azure, à un moment, il faut penser à les mettre à disposition, mieux les distribuer. C’est dans cette optique que Azure Managed Application a été développé. La fonctionnalité propose :

  • De packager notre application pour une mise à disposition au sein de notre souscription Azure (Service Catalog Managed Application
  • De devenir fournisseur de solution disponible sur le portail Azure (Marketplace Managed Application)

clip_image002

 

Voilà pour la version courte de Azure Managed Application. Pour la version longue, je vous renvoie vers la documentation officielle.

Pour ce billet, nous allons nous attarder sur la mise à disposition d’une application préalablement préparée au sein de notre souscription. Notre application sera relativement simple : Bastion as A Service. Je voulais fournir une machine virtuelle standardisée. A la base, je pensais utiliser DevTest pour proposer ce service. Cependant, DevTest ne respectait pas mes exigences de compliance. Je me suis donc rabattu sur Azure Managed Application pour proposer un service similaire. Cela présente que des avantages :

  • L’application sera instanciée à la demande. Pas d’usage, pas de machine virtuelle à sécuriser si elle n’existe pas
  • Les ressources composant la machine virtuelle ne doivent pas pouvoir être modifiées
  • Le consommateur doit cependant pouvoir supprimer l’application (même s’il n’a pas accès aux ressources mises à disposition par l’application)

 

Ce billet sera organisé en quatre étapes :

  • Etape n°1 : Mise à disposition des prérequis
  • Etape n°2 : Préparer notre application
  • Etape n°3 : Publication de notre application
  • Etape n°4 : Consommer notre application

 

Etape n°1 : Mise à disposition des prérequis

Notre Azure Managed Application va réutiliser le Virtual Network Spoke01Network mis à disposition dans le groupe de ressource du même nom dans ma souscription AzureTestLabs. Pour rappel, ce Virtual Network est configuré avec un accord de Peering vers un Virtual Network situé dans ma souscription « Hub ». Le Virtual Network comprend deux sous-réseaux :

  • Local
  • Spoke

C’est ce Virtual Network et ces subnets sur lesquels les futures cartes réseau pourront se raccorder.

 

Etape n°2 : Préparer notre application

Dans notre contexte, notre application est composée de deux éléments regroupés au sein d’un fichier ZIP nommé bastion.zip. Le package comprend :

C’est ce contenu que nous allons publier dans notre souscription. Du point de vue Azure, notre application sera un objet dans Azure. Nous allons donc créer un groupe de ressources nommé ManagedApplication dans notre souscription.

New-AzResourceGroup -ResourceGroupName ManagedApplication -Location WestEurope

clip_image004

 

Pour chaque application, nous devons associer une identité (utilisateur ou groupe) qui disposera d’un certain niveau de permissions sur les ressources déployées. Dans notre contexte, ce sera un groupe, qui disposera des permissions Azure les plus étendues sur les ressources liées aux machines virtuelles déployées.

$OwnerID = New-AzureADGroup -DisplayName « BastionOwners » -MailEnabled $false -SecurityEnabled $true -MailNickName « BastionOwners »

$OwnerID

clip_image006

 

Ce groupe devra disposer des privilèges, on va retenir Owner.

$roleid = (Get-AzRoleDefinition -Name Owner).id

$roleid

clip_image007

 

Le contenu de notre package est disponible sur ce repo Github : https://github.com/Benoitsautierecellenza/ManagedApplication/blob/master/Bastion.zip

La construction d’une interface graphique, c’est un fichier JSON : CreateUiDefinition elements. Ce qui est intéressant, c’est qu’il est possible de tester individuellement cette interface à l’aide du script SideLoad-CreateUIDefinition.ps1. Ce script va mettre à disposition notre fichier « createUiDefinition.json » dans un Storage Account accessible via une clé SAS. Nous serons directement connectés au portail Azure pour déployer notre application.

. .\SideLoad-CreateUIDefinition.ps1 -storageContainerName « test456 » -StorageResourceGroupLocation « WestEurope » -createUIDefFile .\createUiDefinition.JSON

clip_image009

 

L’instance de l’Azure Managed Application doit être hébergé dans un groupe de ressources dédié à cet usage (sans aucune autre ressources).

clip_image011

 

Mon application ayant pour objectif de mettre à disposition une machine virtuelle de type Bastion (sur socle Windows), le consommateur doit définir un compte Administrateur local ainsi que le mot de passe associé. Ce qui est intéressant à ce niveau, c’est que l’interface supporte les expressions régulières : CredentialsCombo.

clip_image013

 

Autre point intéressant, on peut filtrer la liste des tailles de machines virtuelles pour le SizeSelector. C’est plus intéressant que d’exprimer la limitation dans le template ARM.

clip_image015

 

Etape n°3 : Publication de notre application

L’application doit être mise à disposition dans notre application. En PowerShell, c’est la commande New-AzManagedApplicationDefinition qui va nous intéresser.

New-AzManagedApplicationDefinition -Name Bastion -ResourceGroupName ManagedApplications -DisplayName « Bastion as a service » -Description « Provide a bastion as a service » -Location « WestEurope » -LockLevel ReadOnly -PackageFileUri https://raw.githubusercontent.com/Benoitsautierecellenza/ManagedApplication/master/Bastion.zip -Authorization « $($ownerid.ObjectId):$RoleID »

clip_image017

 

Ça c’est pour la version simple (publier dans une souscription). Pour ceux qui veulent industrialiser le déploiement, un Export de BluePrint a été mis à disposition ici. Pour ceux que cela intéresse, un petit rappel : Découverte d’Azure BluePrint. Vu que c’est du déjà vu, on va se contenter de la version courte avec l’import avec Manage-AzureRmBluePrint. Après avoir cloné le repo depuis Azure Cloud Shell, ne reste plus qu’à réaliser l’import. C’est du prêt à consommer.

$SourceDirectory = « /home/by/ManagedApplication/DeployManagedApplications »

$DestinationSubscription = « <SubscriptionID> »

$Managementgroup = « <Management Group name> »

Manage-AzureRMBlueprint.ps1 -Mode Import -Module Az -ImportDir $SourceDirectory -SubscriptionID $DestinationSubscription -ManagementGroup $Managementgroup -Force

clip_image019

 

Je passe sur la publication du BluePrint pour m’attarder sur son assignation. Le template ARM qui est derrière (disponible ici) a besoin d’un certain nombre d’informations pour réaliser la publication, on retrouve donc les mêmes paramètres que pour la publication en PowerShell. Pour ceux que cela intéresse, c’est la classe ‘Microsoft.Solutions/applicationDefinitions’. Pour la structure du template ARM, c’est pas vraiment documenté en ARM, j’ai donc été chercher les informations à la source : Application Definitions – Create Or Update.

clip_image021

 

Avec le BluePrint mis à disposition ici, on devrait avoir un résultat comme illustré ci-dessous :

clip_image023

 

Etape n°4 : Consommer notre application

L’application étant représentée par un objet dans le portail Azure, on peut déclencher son déploiement à partir de là, avec le bouton « Deploy from definition ».

clip_image025

 

De là, on va retrouver l’interface de l’application (celle mise à disposition dans le fichier createUiDefinition.Json), je ne repasse donc pas dessus. Seul point d’attention, on doit déployer l’application dans un groupe de ressources vide.

clip_image026

 

Ce qui est intéressant, c’est le double déploiement qui va avoir lieu. Le premier déploiement, c’est l’application dans notre groupe de ressources.

clip_image028

 

Avec un peu de patience, on découvre notre application déployée. Un premier point d’attention avec la section « Parameters And Output.

clip_image030

 

Cette section référence les paramètres renseignés pendant le déploiement (qui en fait étaient des Outputs du fichier createUiDefinition.Json) pour alimenter en paramètres le template ARM mainTemplate.JSON)

clip_image032

 

Point intéressant dans ces paramètres, le paramètre expiration. Il référence une date à sept jours dans le futur. Cela me sera utile dans le template ARM mainTemplate.JSON pour positionner un tag de date d’expiration automatiquement. Le language utilisé pour générer l’interface graphique est assez riche : CreateUiDefinition functions. La section Output référence elle l’adresse IP privée de la carte réseau associée à la machine virtuelle nouvellement créée (aucune chance que la machine virtuelle soit exposée sur Internet).

Allons faire un tour dans le Managed Resource Group. C’est le groupe de ressources dans lequel toutes les ressources de notre application ont été déployées.

clip_image034

 

Ce qui est intéressant avec Azure Managed Application, c’est que même si nous avons la possibilité de supprimer l’instance de l’application déployée, nous ne pouvons en aucun cas toucher aux ressources mises à disposition. Dans mon contexte, je suis assuré que les caractéristiques des ressources liées à la machines virtuelles ne peuvent pas être altérées (ajout d’une adresse IP publique par exemple). Un Lock a été positionné sur le groupe de ressources mais même avec le rôle « Owner », je suis incapable de le supprimer.

 

Benoît – Simple and Secure by design but Business compliant

Consommer un Storage Account avec une authentification Azure AD

Dans Azure, le service Storage Account est certainement le plus ancien de tous. En plus, il est consommé par tous les autres services. Dans Azure, c’est un service dit « Ring 0 », nécessaire à l’ouverture de toute nouvelle région Azure. Introduire des nouveautés pour ce service est extrêmement complexe. Pourtant, ça arrive de temps en temps. C’est jours-ci, c’est le support d’Azure AD pour l’authentification pour les Storage Accounts. C’est une évolution essentielle car elle nous permet de nous passer des clés primaires et secondaires. Vous savez, c’est celles qu’on obtient avec la commande Get-AzStorageAccountKey :

Get-AzStorageAccountKey -ResourceGroupName $ResourceGroupName -Name $StorageAccountName

clip_image002

Pour accéder à un Storage Account, nous avons besoin d’un contexte que nous allons négocier avec la commande New-AzStorageContext pour laquelle nous allons préciser le paramètre « -UseConnectedAccount » comme illustré ci-dessous :

$Context = New-AzStorageContext -StorageAccountName $storageaccountname -UseConnectedAccount

$Context | Gm

clip_image004

 

Donc plus besoin d’avoir une clé primaire / secondaire pour générer un contexte d’accès au stockage. Pour preuve, je consomme ce contexte immédiatement pour lister les conteneurs de mon Storage Account.

Get-AzStorageContainer -Context $context -Name *

clip_image006

 

Pour être complet, nous avons de nouveaux rôles Azure en relation avec le stockage :

Get-AzRoleDefinition | Where-Object {$_.name -Like « *Storage* »} | Select-Object name

clip_image008

 

Lorsqu’on détaille le rôle « Storage Blob Data Contributor », on découvre de nouvelles permissions liées aux données : DataActions & NotDataActions. C’est grâce à ces permissions que l’on va pouvoir déléguer l’accès au stockage.

clip_image010

 

Voilà, maintenant, plus d’excuse pour utiliser les clés primaires / secondaires pour accéder à vos Storage Accounts.

 

BenoîtS – Simple and Secure by design but Business compliant.

Découverte d’Azure BluePrint

Lorsqu’on consulte la documentation Azure sur le thème de la gouvernance, on constate que des services comme Azure BluePrint, Management Group et Azure Policies constituent un socle pour mettre en place nos infrastructures Azure en segmentant les périmètres en de multiples souscriptions. Mettre en œuvre ce type d’organisation implique d’industrialiser la mise en place des multiples souscriptions. C’est pour cela que la fonctionnalité BluePrint a été conçue.

Cette isolation implique de mettre à disposition des ressources partagées entre les multiples souscriptions. C’est le modèle Hub spoke network tologoly with shared services. Appliqué au niveau réseau, cela veut dire qu’on devra mettre en place des accords de Peerings entre un VNET dit « Hub » et les VNET dépendants des souscriptions. Selon la documentation Microsoft, cela se présente ainsi :

clip_image002

Dans ce billet, nous allons nous focaliser sur la mise en œuvre de l’interconnexion réseau en utilisant les Peerings ainsi qu’en s’assurant que tout le trafic sortant de ces nouveaux VNET soient automatiquement redirigés vers une instance du service Azure Firewall localisé dans notre souscription Hub. L’ensemble de ces opérations sera réalisé avec BluePrint.

Nous disposons d’un Virtual Network nommé « CoreNetwork » qui est localisé dans le Resource Group du même nom. Ce Groupe de ressource dépend de la souscription « Hub ». L’Azure BluePrint que nous allons mettre en œuvre va :

  • Créer le groupe de ressources « LocalNetwork » dans la souscription « Spoke »
  • Créer une instance de User-Defined Route Table pour envoyer le traffc sortant vers notre instance centrale d’Azure Firewall
  • Créer une instance de Virtual Network avec deux sous-réseaux pour lesquels la User-Defined Route aura été associée
  • Mettre en place un Peering entre ce nouveau Virtual Network et le « Core Network »
  • Verrouiller l’ensemble des ressources déployées

 

Etape n°1 : Le contexte avec Managed Identity

Le déploiement de ressources implique un contexte et donc une identité. Pour déployer nos ressources, nous allons utiliser une Managed Identity et plus particulièrement une identité de type « User-Assigned ». Nous allons commencer par créer cette identité qui sera ensuite utilisée lors de l’assignation de notre BluePrint. A ce jour, la fonctionnalité est encore en preview. C’est certainement pour cette raison que c’est encore un module AZ à part à installer avec la commande ci-dessous : install-module -Name Az.ManagedServiceIdentity

clip_image004

 

Ne nous reste plus qu’à mettre en œuvre notre User-Managed Idenity. C’est un objet au sens Azure, nous allons le créer dans la souscription « Hub » et plus particulièrement dans le groupe de ressources « CoreNetwork » à l’aide de la commande PowerShell suivante : New-AzUserAssignedIdentity -ResourceGroupName CoreNetwork -Name MIPeering

clip_image006

 

Notre identité devra disposer des permissions suivantes :

  • Souscription Hub : Network Contributor
  • Souscription Cible : Owner (car doit mettre en place des objets et assigner des permissions)

 

Nous allons donc commencer par nous positionner sur la souscription Hub

Set-AzContext -Subscriptionid <SubscriptionID for Hub subscription>

$identity = get-AzUserAssignedIdentity -ResourceGroupName CoreNetwork -name MIPeering

New-AzRoleAssignment -ResourceGroupName CoreNetwork -RoleDefinitionName « Network Contributor » -ObjectID $identity.PrincipalID

clip_image008

 

Puis nous allons nous repositionner sur la souscription « Hub » pour positionner les permissions :

Set-AzContext -Subscriptionid <SubscriptionID for Hub subscription>

New-AzRoleAssignment -RoleDefinitionName « Owner » -ObjectID $identity.PrincipalID -Scope « /subscriptions/$((get-azcontext).subscription.id) »

clip_image010

 

Etape n°2 : Manage-AzureRMBluePrint

A ce jour, Azure BluePrint est encore en Preview. Afin de palier à certains manques, la communauté a développé Manage-AzureRmBluePrint. Ce script permet d’importer/exporter des définitions de BluePrints entre différents environnements. Que ce soit dans CloudShell ou localement, nous devons commencer par déclarer la PSGallery de Microsoft comme une source d’installation sure à l’aide de la commande suivante :

Set-PSRepository -Name PSGallery -InstallationPolicy Trusted

clip_image012

 

Ne reste plus qu’à installer le script à l’aide de la commande suivante :

Install-script -Name Manage-AzureRmBluePrint

clip_image013

 

Maintenant, nous pouvons utiliser le script Manage-AzureRmBluePrint pour importer la définition qui a été mise à disposition ici. Avant de la rendre disponible sur Github, j’ai préparé la définition de ma Blueprint sur une souscription dédiée. Une fois au point, j’ai utilisé la fonctionnalité d’export de ManageAzurermBluePrint comme illustré ci-dessous :

$exportdir = « c:\temp\ »

manage-azurermblueprint -Mode Export -ModuleMode Az -ManagementGroupID « <Management Group> » -SubscriptionId « <SubscriptionID> » -BlueprintName SpokeCoreNetwork -ExportDir $ExportDir

clip_image015

 

Nous reviendrons sur le contenu de la BluePrint plus tard. Une fois uploadé sur Github, c’est prêt à consommer dans les autres souscriptions. Ce qui est bien c’est qu’on a GIT déjà présent dans CloudShell, pratique pour récupérer la dernière version de la politique mise à disposition. Pour faciliter les choses, le contenu est disponible à l’URL suivante : https://github.com/Benoitsautierecellenza/DemoBluePrint

clip_image017

 

Il ne nous reste plus qu’à importer notre BluePrint avec les commandes ci-dessous :

$SourceDirectory = « /home/by/DemoBluePrint/SpokeCoreNetwork »

$DestinationSubscription = « <Destination subscriptionID> »

$Managementgroup = « <Destination Management Group> »

Manage-AzureRMBlueprint.ps1 -Mode Import -Module Az -ImportDir $SourceDirectory -SubscriptionID $DestinationSubscription -ManagementGroup $Managementgroup -Force

clip_image019

 

Etape n°3 : Publication de notre Artefact BluePrint

Notre définition de BluePrint est maintenant disponible (dans le Management regroupant toutes mes souscriptions) sous forme de Draft.

clip_image021

 

Nous allons la publier en version 1.0. La notion de versionning deviendra importante dans BluePrint quand on procédera à des mises à jour.

clip_image023

 

Notre BluePrint est maintenant prête à l’emploi. Nous allons donc pouvoir l’assigner.

clip_image025

 

Etape n°4 : Assignation de Blueprint

Prochaine étape, c’est d’assigner ce BluePrint à une souscription dite « Spoke/Satellite » (Dépendant du même Tenant Azure AD). L’assignation sera réalisée :

  • Au niveau de la souscription dite « Spoke »
  • Dans une région azure donnée, en utilisant notre version précédemment publie de BluePrint
  • Le déploiement sera réalisé en utilisant notre User-Managed Identity

 

Une fois le déploiement terminé, les ressources seront lockées de manière à ce que même le owner la souscription dans laquelle on déploie ne puisse pas revoir la configuration des ressources

clip_image027

 

Le contenu du BluePrint est assez basique. Il créé un groupe de ressources et y déploie un Template ARM pour les ressources réseau. A ce jour, BluePrint prend en charge le déploiement des artefacts suivants :

  • Création de groupe de ressources
  • Assignation de rôles
  • Assignation de Policy Azure
  • Déploiement de templates ARM

 

Ce que nous voyons dans l’illustration ci-dessous, ce sont les paramètres de mon template ARM. On peut fournir les paramètres au niveau du BluePrint (donc commun à toutes les futures assignations) ou spécifique à chaque assignation, ce qui est mon cas. Le template ARM est disponible ici.

clip_image029

 

Si le déploiement se déroule normalement, on doit avoir le résultat ci-dessous :

clip_image031

 

A noter qu’il est possible de réaliser l’assignation en PowerShell avec le module AZ adéquat. Quand on voit sa version, on comprend qu’il est tout neuf et que c’est certainement pour cela qu’il n’est pas référencé en tant que dépendance AZ.

Install-Module -Name Az.Blueprint

Get-Command -Module Az.Blueprint

clip_image033

 

En termes de ressources, on doit avoir :

  • Un groupe de ressources nommé Spoke01Network
  • Un objet Route table pour mettre en place le routage des flux sortants vers une instance d’Azure Firewall situé dans notre souscription Hub
  • Un objet VNET comprenant deux sous-réseaux pour lesquels notre route table a été associée

clip_image035

 

Quand on creuse un peu plus la configuration, on retrouve bien les éléments configurés :

$vnet = Get-AzVirtualNetwork -ResourceGroupName Spoke01Network

$vnet | select-Object virtualNetworkPeerings -Expand virtualnetworkpeerings

$vnet.subnets | select name, routetable

clip_image037

 

Conclusion

BluePrint est certes encore en Preview mais il est déjà utilisable pour industrialiser la mise en place des socles infrastructure ainsi que pour la mise en place des Azure Policies. On attend le support de nouveaux artefacts prochainement. BluePrint nous offre la possibilité de travailler en mode « macro-management » à l’opposé des Resource Groups (Micro-Management).

 

BenoitS – Simple and Secure by design but business compliant

Migrer une machine virtuelle entre régions Azure

Voilà un cas client qui m’a occupé un certain temps. Mon client déploie une application basée sur des services IaaS à l’aide d’images préalablement générées. Mes images « sources » sont localisées dans la région Azure France Central et doivent être mise à disposition dans la région Brazil South. Voilà pour le besoin de base.

Mon premier réflexe a été de rechercher si un service de réplication d’images n’existait pas. On a bien un repository pour les images pour les conteneurs (Azure Contrainer Registry), on doit donc avoir le même type de service pour le IaaS. C’est effectivement le cas, cela se nomme Shared Image Gallery. Mais, j’ai tout de suite exclu ce choix car :

  • Service actuellement en Preview
  • Pas encore disponible dans les régions Azure qui me concernent

Second réflexe, Azure Site Recovery. Cela fait quelques temps que l’on peut utiliser le service pour « cloner » une machine virtuelle existante pour assurer un DRP vers une autre région Azure. Très rapidement, j’ai dû abandonner cette option car les régions Azure source et destination ne dépendent pas du même cluster géographique.

clip_image001

Source : https://docs.microsoft.com/en-us/azure/site-recovery/azure-to-azure-support-matrix

Pire, le cas de la région Azure Brazil South est un peu particulier car au sein de son Géo, il n’a pas de région Azure associée. Bref, pas la bonne solution.

En dernier ressort, je suis tombé sur cet article : Synchronously copy all managed disks of an Azure Virtual Machine to Azure Storage Accounts in multiple Azure regions. C’est presque ce qu’il me faut car il faudra reconstruire une image après. A mes yeux, la démarche proposée avait quelques défauts :

  • On paie une VM pour faire la copie avec AZCopy alors qu’on peut faire un job de copie
  • Elle est un peu salée la VM en SKU E pour de la copie de fichiers
  • Les opérations sont réalisées en séquentielle alors qu’on se contente de suivre un job.

J’avais déjà publié un billet pour cloner des machines virtuelles dans Azure. J’ai donc juste poussé la logique d’industrialisation jusqu’au bout. Cela va se dérouler en plusieurs étapes :

  • Etape n°1 : Initialisation
  • Etape n°2 : Génération des clés SAS pour les VHD
  • Etape n°3 : Initialisation des opérations de copie
  • Etape n°4 : Suivi des opérations de copie
  • Etape n°5 : Reconstruction des Managed Disks

 

Etape n°1 : Initialisation

Avant de commencer, on va poser quelques bases. J’ai déployé une machine virtuelle en utilisant mon image dans le groupe de ressources « FranceCentral ». L’objectif est d’obtenir des Managed Disks dans le groupe de ressources « BrazilSouth » dans lequel on va préalablement avoir créé un Storage Account qui va être utilisé pour réceptionner les VHD à copier.

$SourceResourceGroup = « FranceCentral »

$SourceVMName = « MASTER »

$dataDiskNames = New-Object System.Collections.ArrayList

$dataDiskSASes = New-Object System.Collections.ArrayList

$SasKeyDuration = 36000

$DestinationResourceGroup = « BrazilSouth »

$DestinationStorageAccount = « brazilreplication »

$Accounttype = ‘Standard_LRS’

$VM = Get-AzureRmVM -ResourceGroupName $SourceResourceGroup -Name $SourceVMName -Verbose

clip_image002

 

Etape n°2 : Génération des clés SAS pour les VHD

Pour chaque disque composant notre machine virtuelle, nous devons générer une clé SAS. J’ai volontairement configuré une durée de vie assez longue, ne voulant pas tomber dans une situation ou les clés SAS auraient échouées pour cause d’une copie beaucoup trop longue.

$osDiskName = $VM.StorageProfile.OsDisk.Name

$osDiskSAS = (Grant-AzureRmDiskAccess -Access Read -DiskName $osDiskName -ResourceGroupName $SourceResourceGroup -DurationInSecond $SasKeyDuration -Verbose).AccessSAS

foreach($dataDisk in $VM.StorageProfile.DataDisks)

{

$dataDiskNames.Add($dataDisk.Name) | Out-Null

}

foreach($dataDiskName in $dataDiskNames)

{

$dataDiskSASes.Add((Grant-AzureRmDiskAccess -Access Read -DiskName $dataDiskName -ResourceGroupName $SourceResourceGroup -DurationInSecond $SasKeyDuration -Verbose).AccessSAS) | Out-Null

}

clip_image003

 

A ce stade, si on observe un des objets Managed Disks dans le portail, on peut constater qu’une clé SAS a bien été générée pour chacun d’eux.

clip_image004

 

Etape n°3 : Initialisation des opérations de copie

C’est en ce point que je me suis différencié de l’article Synchronously copy all managed disks of an Azure Virtual Machine to Azure Storage Accounts in multiple Azure regions. Mon besoin n’étant pas de répliquer mes disques dans de multiples régions, pas besoin d’autant d’instance de la machine virtuelle Ubuntu pour réaliser les opérations de copies. En plus, on n’a pas besoin d’attendre. Ça fait bien longtemps qu’AZCopy.EXE supporte la notion de job pour les opérations de copies. En PowerShell, AZCOPY.EXE, c’est Start-AzureStorageBlobCopy. A ce stade, du contenu va commencer à apparaître dans le contenu prévu à cet effet dans le Storage Account localisé dans la région cible.

$DestStorageAccountKeys = Get-AzureRmStorageAccountKey -ResourceGroupName $DestinationResourceGroup -Name $DestinationStorageAccount

$DestStorageContext = New-AzureStorageContext -StorageAccountName $DestinationStorageAccount -StorageAccountKey $DestStorageAccountKeys[0].Value

Start-AzureStorageBlobCopy -AbsoluteUri $osDiskSAS -DestContainer $SourceVMName.ToLower() -DestContext $DestStorageContext -DestBlob $($osDiskName + « .VHD »)

$DatadiskCount = 0

foreach($dataDiskSAS in $dataDiskSASes)

{

Start-AzureStorageBlobCopy -AbsoluteUri $dataDiskSAS -DestContainer $SourceVMName.ToLower() -DestContext $DestStorageContext -DestBlob $(« datadisk-$DatadiskCount » + « .VHD »)

$DatadiskCount +=1

}

clip_image005

 

Etape n°4 : Suivi des opérations de copie

La commande PowerShell Start-AzureStorageBlobCopy initié un job que l’on va suivre. Avantage, on va paralléliser toutes les opérations de copie. Pour suivre cela, on dispose de la commande PowerShell Get-AzureStorageBlobCopyState. La durée des opérations de copie dépendra principalement de la volumétrie de données à répliquer. Pour mes tests, quarante-neuf minutes étaient nécessaires pour répliquer un Managed Disk SATA de 127Go et un autre de 1To.

$StartTime = Get-Date

$StorageOperations = Get-AzureStorageBlob -Container master -Context $DestStorageContext | Get-AzureStorageBlobCopyState

While ($StorageOperations | Where-Object {$_.status -eq « Pending »})

{

$StorageOperations | select-Object Copyid, Status

Start-Sleep -Seconds 10

$StorageOperations = Get-AzureStorageBlob -Container master -Context $DestStorageContext | Get-AzureStorageBlobCopyState

}

$CopyTimeSpan = New-TimeSpan -Start $StartTime -End (Get-Date)

$Totalcopyoperations ='{0:N0}’ -f $($CopyTimeSpan.TotalMinutes)

Write-Host « Copy operation completed in $Totalcopyoperations minutes. »

clip_image006

 

Etape n°5 : Reconstruction des Managed Disks

Il ne nous reste plus qu’à reconstruire des Managed Disks en commençant par construire un objet de type Managed Disk à l’aide de la commande PowerShell New-AzureRmDiskConfig. De, là, il n’y a plus qu’à créer la ressource Azure à l’aide de la commande PowerShell New-AzureRmDisk.

$Container = Get-AzureStorageContainer -Container master -Context $DestStorageContext

$ContainerBaseURI = ($Container.CloudBlobContainer).uri.absoluteuri

$ListVHDs = Get-AzureStorageBlob -Container master -Context $DestStorageContext

ForEach ($VHD in $ListVHDs)

{

$Disksize = ($vhd.Length/1GB) +1

$Vhduri = $ContainerBaseURI + « / » + $vhd.name

$diskName = ($vhd.name).Substring(0, ($vhd.name).lastindexof(« . »))

Write-Host « Creating Managed Disk $diskName in Resource Group $DestinationResourceGroup. »

$diskConfig = New-AzureRmDiskConfig -AccountType $Accounttype -Location ((get-azurermresourcegroup -Name $DestinationResourceGroup).location) -DiskSizeGB $Disksize -SourceUri $vhdUri -CreateOption Import

New-AzureRmDisk -DiskName $diskName -Disk $diskConfig -ResourceGroupName $DestinationResourceGroup

}

clip_image007

 

Maintenant, il y a plus qu’à reconstruire l’image de référence au brésil et supprimer les fichiers VHD.

 

Conclusion

La solution n’est pas parfaite, elle peut encore être améliorée. Si vous être plus de culture Linux, allez lire ce billet : Copy custom vm images on azure. L’approche est sensiblement identique.

 

Benoît – Simple and Secure by design but Business compliant.

Générer un certificat auto-signé avec Key-Vault

Pour ceux qui comme moi génèrent des certificats depuis longtemps, je suis passé par toutes les étapes (OpenSSL, New-SelfSignedCertificate). Avec Azure, il était logique que je regarde comment générer un certificat auto-signé. Le problème des solutions citées précédemment, c’était que le certificat était généré localement, dans le magasin personnel de la machine. Combien de fois avez-vous oublié le certificat et sa clé privée sur un serveur ou pire sur votre portable.

Avec Azure, l’usage des certificats s’est banalisé. On associe des Service Principals aux applications déclarées dans Azure AD que l’on consomme ensuite dans différents services (Azure Automation aujourd’hui par exemple). Pour cette raison, j’avais rapidement cherché un moyen de générer mes certificats auto-signés directement dans Azure. Logiquement, j’ai commencé par regarder le KeyVault. Une recherche rapide dans le module PowerShell associé me confirme que c’est bien prévu dans les scénarios du produit.

clip_image001

J’ai donc creusé un peu le sujet et voilà la version courte. On commence par préparer un objet CertificatePolicy :

$AutomationcertificateName = « LabAutomation »

$AutomationcertSubjectName = « cn= » + $AutomationcertificateName

$AutomationCertificateLifetimePolicy = 36

$Policy = New-AzureKeyVaultCertificatePolicy -SecretContentType « application/x-pkcs12 » -SubjectName $AutomationcertSubjectName -IssuerName « Self » -ValidityInMonths $AutomationCertificateLifetimePolicy -ReuseKeyOnRenewal

$Policy

clip_image002

 

Vous l’avez bien compris, on peut personnaliser avec beaucoup d’autres paramètres, mais on va faire court. Pour la suite, cela se passe avec la commande Add-AzureKeyVaultCertificate. Point de détail, la commande retourne un status, à nous de suivre jusqu’à ce que le certificat soit délivré :

$AddAzureKeyVaultCertificateStatus = Add-AzureKeyVaultCertificate -VaultName ‘mykeyvaultforcert’ -Name $AutomationcertificateName -CertificatePolicy $Policy

$AddAzureKeyVaultCertificateStatus.status

While ($AddAzureKeyVaultCertificateStatus.Status -eq « inProgress »)

{

Start-Sleep -Seconds 10

$AddAzureKeyVaultCertificateStatus = Get-AzureKeyVaultCertificateOperation -VaultName ‘mykeyvaultforcert’ -Name $AutomationcertificateName

$AddAzureKeyVaultCertificateStatus.status

}

$AddAzureKeyVaultCertificateStatus

clip_image003

 

Notre certificat auto-signé est maintenant dans le KeyVault, pour l’utiliser, ne nous reste plus qu’à l’exporter. La ça se complique un peu, il faut en passer par un peu de Dot.Net avec la classe X509Certificate2Collection. Dans le code ci-dessous, nous générons un fichier PFX contenant, le certificat, sa clé privée, le tout sécurité par un mot de passe (merci de fermer la session PowerShell après usage !)

$PfxCertPathForRunAsAccount = « C:\TEMP\CERTIFICATE.PFX »

$PfxCertPlainPasswordForRunAsAccount = « P@ssw0rd12345 »

$secretRetrieved = Get-AzureKeyVaultSecret -VaultName ‘mykeyvaultforcert’ -Name $AutomationcertificateName

$pfxBytes = [System.Convert]::FromBase64String($secretRetrieved.SecretValueText)

$certCollection = New-Object System.Security.Cryptography.X509Certificates.X509Certificate2Collection

$certCollection.Import($pfxBytes, $null, [System.Security.Cryptography.X509Certificates.X509KeyStorageFlags]::Exportable)

$protectedCertificateBytes = $certCollection.Export([System.Security.Cryptography.X509Certificates.X509ContentType]::Pkcs12, $PfxCertPlainPasswordForRunAsAccount)

[System.IO.File]::WriteAllBytes($PfxCertPathForRunAsAccount, $protectedCertificateBytes)

Get-ChildItem -Path « c:\temp\cert*.* »

clip_image004

 

Ne reste plus qu’à consommer. Avantage de cette approche, le certificat est préservé dans notre KeyVault. Dans mon contexte, Azure Automation est partie intégrante d’une solution en cours de développement, nous réinstancions donc plusieurs fois par jour nos instances.

 

BenoitS – Simple and Secure by design but Business compliant (with disruptive flag enabled)

Ma session au Powershell Saturday 2018

Ce samedi s’est déroulé l’édition française du PowerShell Saturday dans les locaux de Cellenza. Pendant, cette édition, j’ai eu l’occasion de présenter l’avancement sur Resource Group As a Service. Resource Group As a Service est un sujet que j’avais déjà présenté lors du Global Azure Bootcamp de 2018.

clip_image001

A l’époque, on était plus proche du PoC of Concept, entre temps, le développement a beaucoup avancé. Aujourd’hui, nous sommes maintenant plus proche du Minimum Viable Product. L’objectif de cette session n’était pas de présenter la solution en elle-même mais ce que son développement m’a permis d’apprendre sur Azure Function, Azure Automation et sur PowerShell lui-même. C’est donc plus une session de retour sur expérience.

Pour ceux que cela intéresse, la présentation ainsi que les exemples PowerShell présentés sont disponibles à cette URL.

 

Benoît – Simple and Secure by Design but Business compliant

Cloner des machines virtuelles dans Azure

Avec l’arrivée des Managed Disks, il a été introduit la capacité à cloner ces objets sous forme d’objets Snapshots. Après avoir pas mal joué avec j’y vois plusieurs avantages :

  • Recréer une machine virtuelle à partir d’un snapshot est bien plus rapide que de la restaurer depuis Azure Site Recovery (60Mb/S pour la vitesse).
  • Changer le nom des managed Disks histoire de s’aligner avec notre politique de nommage (genre après une bascule depuis On-Premises avec Azure Site Recovery)
  • Changer le nom de l’objet machine virtuelle (pas le nom du système d’exploitation)
  • Changer la performance des disques utilisés
  • Relocaliser les Managed Disks dans d’autres groupes de ressources (ca ne se déplace pas encore mais on peut cloner)
  • Réaliser une sauvegarde rapide et être en mesure de reconstruire rapidement (updates, opérations de maintenance critiques, mises en production le vendredi, …)
  • Changer l’Availability Zone / Availability Set / région Azure de la machine virtuelle
  • Relocaliser une machine virtuelle sur un autre Virtual network

 

Bref, il y a plein de raisons qui font que cloner une machine virtuelle peut être intéressant. Dans le détail des opérations voilà comment cela se présente :

  • Etape n°1 : Désallouer la machine virtuelle
  • Etape n°2 : Créer des snapshot des managed Disks
  • Etape n°3 : Créer des Managed Disks à partir des snapshots
  • Etape n°4 : Créer une nouvelle machine virtuelle
  • Etape n°5 : Ajouter les disques de données
  • Etape n°6 : Suppression des Snapshots

Etape n°1 : Désallouer la machine virtuelle

Même si l’opération peut être réalisé à chaud, on va quand même désallouer la machine virtuelle histoire de créer une image consistante de tous les Managed Disks. C’est un snapshot de chaque Manage Disks qu’il faudra réaliser. Rappel, désallouer ne veut pas dire shutdown dans le système d’exploitation.

 

Etape n°2 : Créer des snapshot des managed Disks

Nous allons créer autant d’objets Snapshots que de Managed Disks associés à notre machine virtuelle. Le seul disque que l’on ne pourra pas snapshoter. Commencez par identifier les noms Managed Disks associés à votre machine virtuelle. Dans l’exemple ci-dessous ma machine virtuelle comprend un disque OS et un disque de données.

clip_image001

 

Pour chaque Managed Disk, on va utiliser le bouton « Create Snapshot » comme illustré ci-dessous :

clip_image002

 

L’objet Snapshot sera créé dans la même région Azure. Par contre, il est tout à fait possible de créer l’objet dans un Resource Group différent. On peut même change la performance. As-t-on réellement besoin d’avoir notre snapshot en SSD?

clip_image003

Etape n°3 : Créer des Managed Disks à partir des snapshots

Il n’est pas possible de créer une machine virtuelle avec des Snapshots. On doit créer des Managed Disks à partir de nos snapshots.

clip_image004

 

Ici encore, ce qui est intéressant, c’est de pouvoir créer le Managed Disk dans une région Azure, une autre Availability zone. Vu que nous créons l’objet nous pouvons réappliquer notre charte de nommage (ceux qui ont migré des machines virtuelles depuis On-Premises me comprendrons, …).

clip_image005

 

Une fois l’opération terminée, nous devirons avoir autant de Managed Disks que de snapshots comme illustré ci-dessous :

clip_image006

Etape n°4 : Créer une nouvelle machine virtuelle

Avec des disques, nous pouvons créer une nouvelle machine virtuelle. Pour cela nous allons reprendre le Managed Disk contenant notre système d’exploitation. Nous allons utiliser le bouton « Create VM ».

clip_image007

 

Pour la création de la machine virtuelle, il n’y a pas grand-chose à dire.

clip_image008

 

Par contre, à cette étape, il y a un point intéressant. Nous pouvons redéfinir l’Availability zone, voire même l’Availability Set. Il y a même un bonus avec la possibilité de changer à quel Virtual Network la nouvelle carte réseau sera associée.

clip_image009

Etape n°5 : Ajouter les disques de données

N’oubliez pas de redéclarer vos disques de données et de sauvegarder la configuration.

clip_image010

Etape n°6 : Suppression des Snapshots

Conserver les snapshots n’a pas de sens sur le long terme. C’est du stockage facturé, tout comme les Managed Disks. Pensez donc à les supprimer dès que le clonage sera terminé.

clip_image011

 

 

Benoît – Simple and secure by design but Business compliant

Arretons de stocker os tokens Azure avec le module Powershell

Ca faisait quelques temps que j’avais remarqué un comportement « étrange » de certains de mes scripts Azure. Pour beaucoup d’entre eux, je commence par m’assurer avec un Get-AzuremContext que je suis bien authentifié. A ma grande surprise, je découvre que oui, pourtant, je n’ai renseigné aucun credential. Magie ? Nan. J’ai creusé un peu plus le sujet pour redécouvrir le module AzureRM.Profile. Ma recherche m’a amenée sur cette page : Automatic-Context-Autosave avec la découverte de quelques commandes inconnues :

clip_image001

 

Trois commandes ont attiré mon attention :

  • Disable-AzureRmContexteAutoSave
  • Enable-AzurermContextAutosave
  • Get-AzureRmContextAutoSaveSettings

J’ai donc commencé par Get-AzureRmContextAutoSaveSettings avec une surprise. Mes tokens sont bien conservés dans mon profil, c’est la configuration par défaut.

clip_image002

 

En ce qui me concerne, d’un point de vue sécurité, c’est moche. D’une part, je me balade avec les tokens de mes clients (MFA n’est pas encore chez tous et cela ne résout pas toujours le problème). C’est dommage qu’on fasse attention à utiliser des navigateurs en mode privé pour se connecter à Azure si le module PowerShell ignore le même ce concept. D’autre part, cela induit un risque. J’ai tendance à utiliser beaucoup de scripts chez mes différents clients. Avec cette fonctionnalité, je risque de travailler sur la mauvaise souscription sans m’en rendre compte avec un impact tout aussi industriel que le script.

Pour cette raison, j’ai pris l’habitude de désactiver cette fonctionnalité avec la commande Disable-AzureRmContextAutoSave comme illustré ci-dessous :

clip_image003

 

Maintenant, il n’y a plus de risque pour moi.

clip_image004

 

Benoît – Simple and secure by design but Business compliant