AWS a publié Amazon EMR Studio. L’environnement de développement permet aux data scientists de créer des applications dans les langages R, Python, Scala et PySpark avec une intégration directe avec Amazon EMR.

EMR Studio a été annoncé en avant-première de l’événement Amazon re: Invent en 2020. Avec l’EDI, Amazon se concentre sur les data scientists et les data ingénieurs. Vous pouvez utiliser l’EDI pour développer, visualiser et déboguer des applications dans les langages de programmation mentionnés ci-dessus.

Cahiers Jupiter

Pour faciliter le débogage, Amazon utilise des blocs-notes Jupiter. Il s’agit d’une application Web open source qui peut partager des documents en direct avec du code, des calculs, des visualisations et du texte, un peu comme Google Docs. Des outils tels que Spark UI et YARN Timeline Service devraient encore simplifier le débogage. Le code écrit dans Jupiter Notebook peut être exécuté directement sur Amazon EMR dans Amazon EC2 ou Amazon EKS.

Nouvelles fonctions basées sur les retours

Sur la base des commentaires des utilisateurs de Preview, Amazon EMR Studio a ajouté plusieurs nouvelles fonctionnalités. Par exemple, vous pouvez utiliser la console EMR, AWS CloudFormation ou l’AWS CLI pour créer une nouvelle instance d’EMR Studio. La console EMR guide l’utilisateur à travers une série d’étapes pour configurer facilement le contrôle d’accès et affecter des utilisateurs à des groupes dans un studio EMR. Les configurations peuvent être à nouveau affichées dans l’interface utilisateur et supprimées si nécessaire. Dans AWS CloudFormations, la création d’instances Studio peut même être automatisée à l’aide d’un modèle. La prise en charge de l’authentification avec Microsoft Active Directory a été ajoutée.

modèles

Une autre nouvelle option est que les administrateurs peuvent désormais restreindre les paramètres disponibles dans les modèles de cluster. Ensuite, si un utilisateur souhaite créer un cluster basé sur le modèle, seuls les paramètres spécifiés peuvent être ajustés. De plus, Amazon a ajouté quelques exemples de blocs-notes pour faciliter la création d’applications de science des données dans EMR Studio. Cela inclut des exemples de code PySpark pour interroger un métastore Hive et du code Python pour le visualiser. Les utilisateurs peuvent copier le code dans leur propre espace de travail EMR Studio, le modifier selon leurs besoins et l’exécuter à partir de là.

Amazon EMR Studio est disponible immédiatement. Sur le site Amazon un tutoriel pour démarrer avec l’IDE.

Conseil: Amazon CodeGuru prend désormais également en charge Python



Source link

Recent Posts