Jonathan Symonds

Jonathan est le directeur du marketing chez MinIO. Auparavant, il était directeur marketing chez Ayasdi et a occupé des postes de direction marketing chez OmniSci, AceMetrix et 2Wire.

De nombreuses sociétés de stockage d’objets aiment utiliser le terme exaoctet et parler d’évolutivité infinie. Cependant, lorsqu’ils font ces déclarations, ils parlent toujours de données d’archives statiques.

De manière réaliste, le mettre à l’échelle en exaoctets et au-delà n’est pas si difficile si vous le mettez dans une chambre froide. Cependant, ce n’est pas ce que veulent les entreprises modernes. Ils veulent de la sécurité, de l’évolutivité et des performances, car ils veulent pouvoir interagir avec ces données à grande échelle, pour les charges de travail AI / ML et les plates-formes d’analyse avancées telles que Splunk.

Nous le voyons dans les données. Ce sondage 2020 de The New Stack Enquête sur les infrastructures de nouvelle génération est un bon exemple:

Alors, que faut-il pour déployer un système de stockage véritablement évolutif? Tout d’abord, le stockage d’objets – puisque chaque système hyper-échelle est construit sur le stockage d’objets, c’est un jeu d’enfant. Quels sont les autres composants? Voici notre attitude:

  1. Évolutivité du système: Afin de répondre aux exigences d’évolutivité, l’ensemble du système doit être évolutif. Les systèmes utilisant Cassandra comme base de données de métadonnées sont des exemples qui ne sont pas mis à l’échelle de manière linéaire. Puisque Cassandra est meilleur en écriture qu’en lecture, vous êtes limité dans ce que vous pouvez faire avec les données en termes d’évolutivité. Cassandra est également très pauvre dans les opérations à grande échelle comme la suppression. Si l’ensemble du système n’est pas évolutif, votre projet ne fournira pas d’évolutivité. L’ensemble du système doit être élégant, transparent et facilement évolutif pour tous les types de charges de travail – du stockage artificiel et des instantanés aux pipelines d’apprentissage automatique.
  2. performance peuvent être évalués sur plusieurs dimensions – performances brutes, en ligne droite, ainsi que performances à l’échelle. La différence est simple (exécuter un benchmark sur votre stockage d’objets et quelques To de données peuvent produire de jolis chiffres), en particulier lorsque vous définissez / définissez le code de suppression, la cohérence du quorum, le cryptage et la protection de bit red à des niveaux de protection faibles (ou activez les éteindre complètement). Le vrai test, cependant, est de maintenir ces performances sur plusieurs PB pour tous les types de modèles d’accès et de tailles d’objets. Sans ces performances évolutives, vous ne pouvez traiter de manière réaliste qu’une fraction de vos données. Les cas d’utilisation dans AI / ML tendent non seulement vers des quantités massives de données, mais traitent également de plus en plus de soi-disant «données obscures». Les dark data recèlent des secrets, mais sont généralement oubliées ou archivées pour des raisons de performances (trop volumineuses) ou pour des raisons de coût. Le stockage d’objets moderne doit offrir des performances sur tout le continuum d’échelle. Le choix d’un magasin d’objets qui permet cela garantira que l’organisation peut débloquer la valeur totale de ces données – pas seulement un sous-composant.
  3. Sécurité est de loin la première réponse parmi les répondants à l’enquête New Stack, mais cela ne devrait être nouveau pour personne. Le stockage des données comprend la protection contre les pertes et les accès non autorisés. Dans le cas d’un ransomware, les deux vont ensemble et un accès non autorisé entraîne une perte. Sur le mauvais continuum, une faille de sécurité est pire car une fois que les données sont disponibles, le problème s’aggrave et vous en perdez le contrôle. C’est pourquoi la sécurité doit également être mise à l’échelle. La sécurité ne peut pas créer une surcharge de performances qui vous empêche de le faire tout le temps. Le chiffrement évolutif devrait également protéger les données partout – en vol (certificats TLS) et au repos (KMS, chiffrement). La gestion des accès (authentification et autorisation) et le verrouillage des objets devraient également faire partie du portefeuille de sécurité. Ils doivent tous être mis à l’échelle si vous souhaitez une protection complète. Pris ensemble, ce sont des exigences monumentales contre lesquelles la plupart des magasins d’objets ne peuvent pas répondre. Pour cette raison, les entreprises font des compromis et voient des résultats prévisibles.
  4. Échelle de fonctionnement: La capacité de gérer une infrastructure massive avec seulement une poignée de personnes (voire quelques-unes qui peuvent être gérées sur plusieurs fuseaux horaires) est opérationnelle. Certains appellent cela la maintenabilité. Nous aimons également le terme maintenabilité. Cependant, nous sommes moins intéressés par le coût total de possession car vous ne pouvez pas évaluer la maintenabilité comme un «ingénieur de valeur». Vous pouvez affecter ou non une personne avec un stockage de locataire, de pétascale ou d’objet en tant qu’instance de service. Si une équipe de six personnes est responsable de la sécurité, du réseau, du lecteur, du processeur, de la résilience, des SLA, des temps d’arrêt, des mises à niveau, etc., cette solution ne peut pas vraiment être desservie. Les fonctionnalités de l’infrastructure doivent être gérables, transparentes et simples sans compromettre le contrôle ou la granularité. OPEX est d’un ordre de grandeur plus élevé que les CAPEX au fil du temps. L’évolutivité dépend du logiciel sélectionné. Un logiciel simple et puissant gagne à chaque fois, car l’évolutivité opérationnelle est un problème logiciel, pas un problème humain.
  5. Défini par logiciel: Alors que les vendeurs d’appareils soutiennent énergiquement ce point, le fait est que les solutions conçues par logiciel peuvent mieux évoluer lorsqu’elles sont correctement définies. Par «correctement définis», nous entendons qu’ils sont exécutés sur tous les matériels, machines virtuelles ou conteneurs standard ainsi que sur des distributions de système d’exploitation courantes – pas seulement sur quelques boîtiers définis avec précision par une poignée de fournisseurs bien connus. Lorsque le logiciel est publié fréquemment et que le matériel est mis à jour trop fréquemment, il est devenu presque impossible de garder ce HCL validé. La quasi-totalité de la liste de compatibilité matérielle (HCL) est initialement obsolète. Oui, AWS contrôle le matériel dans sa pile, mais il existe d’énormes différences du côté du matériel. Nous leur donnons toutes les notes pour la façon dont ils le font. Lorsque vous êtes vraiment défini par un logiciel et que vous l’exécutez n’importe où, le matériel devient vraiment une marchandise. Concevez un cycle de vie des données autour des données – pas autour des spécifications matérielles. Le logiciel traite de l’hétérogénéité entre les supports, les modèles, voire les marques. Vous pouvez obtenir votre meilleur prix et profiter des éruptions de fin de trimestre. Concevez vos systèmes avec SSD et HDD et superposez-les à l’aide d’ILM. Utilisez le cloud public comme une chambre froide. Kubernetes est le pilote de cette échelle définie par logiciel. Les logiciels ne doivent pas se soucier de l’infrastructure sous-jacente – qu’il s’agisse d’un cloud public ou d’un cloud bare metal privé. Laissez Kubernetes abstraire l’infrastructure et fournir votre stockage d’objets en tant que conteneur logiciel. Bien que nous l’ayons déjà dit, il faut le mentionner à nouveau – vous ne pouvez pas conserver un appareil dans des conteneurs.

Résumé

L’évolutivité est un problème multidimensionnel. Il n’obtient pas l’attention qu’il mérite car très peu de fournisseurs souhaitent en discuter en dehors de leurs critères de réussite spécifiques et étroitement définis. Ceci est mauvais pour l’ensemble du secteur car il ignore les choses vraiment importantes – la sécurité, les performances et la maintenabilité. Nous vous invitons à envisager une liste plus complète dans l’espoir que cela conduira à de meilleures questions de la part de vos fournisseurs actuels et à une meilleure conception du système à l’avenir.

Image fonctionnelle via Pixabay.





Source link

Recent Posts