À mesure que les applications et les infrastructures deviennent plus complexes et plus dynamiques, comment les équipes DevOps peuvent-elles automatiser et rationaliser la collecte, la surveillance et l'analyse des journaux critiques dans les environnements cloud, sur site et hybrides ?

Synergy a contribué à intégrer la plateforme d'enregistrement LogDNA à l'écosystème mondial d'IBM, reliant les deux entreprises en tant que partenaires et clients consultatifs pour fournir des services Kubernetes innovants et gérés.

En 2013, alors qu'ils travaillaient sur leur troisième startup, Christopher Ngyuen et Lee Liu ont eu une révélation : aucun outil de gestion des registres n'était pleinement capable de gérer les besoins intenses d'une pile de développement moderne et cloud natif. La méthodologie traditionnelle Log Analysis n'était tout simplement pas assez réactive ou évolutive pour gérer le niveau de dispersion des données qui se produit dans les environnements cloud dynamiques.

Si cela les frustrait, ils savaient que d'autres équipes DevOps poursuivaient également l'activité des données. Ils se sont donc tournés vers la création d'une plateforme d'enregistrement qu'ils pourraient utiliser, en s'appuyant sur le célèbre outil Elasticsearch.

L'enregistrement a toujours fourni des informations essentielles aux développeurs à l’affût des erreurs de code. Lorsqu'il s'agissait d'un seul serveur, l'enregistrement était relativement simple, bien que souvent lent. Mais lorsque la virtualisation a fait son entrée dans le centre de données, le processus est devenu beaucoup plus complexe.

L'enregistrement centralisé a évolué pour centraliser les fichiers journaux, mais il incombait toujours aux développeurs, aux équipes informatiques ou aux équipes d'infrastructure d'organiser l'enregistrement pour eux-mêmes, une utilisation des ressources chronophage et coûteuse. Pire encore, la demande croissante de zéro temps d'arrêt a augmenté la vitesse à laquelle les développeurs avaient besoin d'une visibilité en temps réel sur les problèmes et les changements. Aujourd'hui, les conteneurs qui composent une application se multiplient comme un nouveau socle de modernisation.

« Chaque fois que votre application se développe, vous devez gérer davantage de journaux. Chaque fois que vous avez de nouvelles applications dans votre environnement ou que vous lancez de nouveaux produits, vous avez plus de journaux », déclare Norman Hsieh, vice-président du développement commercial chez LogDNA. « Et effectivement, quelqu'un doit consacrer plus de temps à la gestion et à la mise à l'échelle de tout cela. »

Après avoir mis à l’épreuve leur version de l'enregistrement intégré sur Hacker News, Hsieh déclare : « Nous avons immédiatement constaté une véritable demande et un besoin d’une nouvelle perspective sur l'enregistrement. »

Il poursuit : « À un moment donné, vous n'avez littéralement plus besoin de toucher à aucune boîte, mais vous pouvez avoir des milliers de machines qui exécutent vos applications. Multipliez maintenant cela par 10 ou 100 en termes de nombre de conteneurs que vous exécutez. Dans ces cadres architecturaux, vous avez sous les yeux une énorme quantité de données, qui sont toutes automatisées, mais dont vous ne savez pas vraiment ce qui se passe. La seule façon d'obtenir ces informations est d'enregistrer un journal. Et ce dont vous avez besoin désormais, c'est d'un outil suffisamment modernisé pour fournir une intelligence DevOps, connaître les cadres et organiser toutes ces données automatiquement pour vous. »

Et puis les cofondateurs ont vu l'inscription sur le mur : Kubernetes. « Nous avons pensé que c'était une technologie formidable pour soutenir notre propre architecture », ajoute Hsieh. Un grand nombre de développeurs adoptaient rapidement la plateforme open source légère pour gérer les workloads conteneurisées.

L'équipe de LogDNA a saisi les capacités d'orchestration avancées de Kubernetes dans les environnements cloud, et a cherché un leader dans cet espace.

Le travail réalisé par LogDNA n'est pas passé inaperçu auprès d'IBM Cloud et de Jason McGee, le directeur technique (CTO), et son équipe qui elle-même s'orientait vers le cloud, les services Kubernetes et DevOps. Les deux entreprises travaillaient également au sein de la communauté open source, profitant de l'élan de l'espace des développeurs.

« Je suis très reconnaissant à IBM de nous avoir donné une chance et d'avoir dit que nos propositions avec la technologie dont nous disposons aujourd'hui étaient intéressantes », explique M. Hsieh. « Nous avons constaté la même synergie entre ce que faisait l'équipe de Jason et la direction que nous prenions. Lorsqu'ils ont parlé de leadership avec Kubernetes du côté d'IBM Cloud, nous savions que c'était exactement ce que nous voulions faire. »

Comme des brins d'ADN s'enroulant l'un autour de l'autre, LogDNA et IBM ont noué une relation étroite qui s'est transformée à la fois en un partenariat intégré et, heureusement, en une opportunité de clientèle pour LogDNA.

« Nous avons eu la chance de travailler en étroite collaboration avec IBM, et pas seulement du point de vue du développement commercial. Nous travaillons également main dans la main avec les équipes internes qui ont créé des services au sein d'IBM », explique M. Hsieh. « Les habitants de San Francisco nous demandent souvent comment nous y parvenons. Je pense que cela tient en grande partie à notre volonté de vouloir à tout prix grandir et nous développer avec IBM. »

L'une des opportunités qui a ajouté de la valeur à LogDNA et démontré le partenariat a été une nouvelle offre bare metal d'IBM.

« On sait que notre activité est l'enregistrement, mais lorsqu'on creuse un peu, on s'aperçoit que nous sommes aussi une entreprise de stockage et de big data", explique M. Hsieh. « Ainsi, initialement, lorsque nous avons examiné IBM Cloud Kubernetes Service, nous craignions que les offres actuelles ne répondent pas à nos demandes. Nous avons rencontré certains des meilleurs ingénieurs d'IBM qui nous ont dit : « Jetez donc un coup d'œil à l'offre bare metal pour voir s'il n'y a pas quelque chose de plus flexible pour répondre à vos besoins. » Nous ne savions même pas que cela existait. »

IBM avait accéléré le lancement d'une offre, mais cette surprise a changé la donne pour LogDNA.

« Nous avions utilisé notre architecture cloud native et fourni un produit SaaS multicanal qui utilise Kubernetes », explique Hsieh. « Cela nous a permis de proposer un produit qui puisse se déployer dans tous les types d'environnements Kubernetes gérés, mais l'option bare metal nous a permis d'obtenir les IOPS [opérations d'entrée/sortie par seconde] dont nous avions besoin pour lire et écrire rapidement à partir du stockage, et à un prix inférieur à celui du stockage en réseau. »

En recommandant quelques changements de spécifications, LogDNA a pressé IBM d'accélérer le mouvement. Ce n'était pas la première fois qu'IBM se penchait sur la question.

« Ils ont été d'une grande aide. Au départ, les deux parties prenaient connaissance de la vitesse de cette croissance et nous ne savions même pas exactement de combien de serveurs nous avions besoin. Mais le processus d'obtention de nouveaux serveurs et de mise en place du nouveau IBM Cloud Kubernetes Service n'a cessé de s'améliorer. »

Imaginez que vous soyez une entreprise innovante de covoiturage, que des millions de clients utilisent votre application à toute heure du jour et de la nuit et qu'ils génèrent une quantité prodigieuse de fichiers journaux au sein d'une infrastructure massive. Chaque demande de voiture, chaque trajet effectué et le niveau d'engagement des clients dépassent de loin les exigences d'hier en matière d'exploitation forestière.

« Nous pensons qu'il existe un marché plus important pour ce niveau d'évolutivité par rapport à ce que les opérateurs historiques proposent aujourd'hui. Grâce à notre partenariat avec IBM, nous pouvons maintenant répondre à cette demande », déclare M. Hsieh.

« Ce qui est formidable avec LogDNA, c'est que les clients peuvent commencer dès le début de leur parcours, puis rester avec sous une forme cohérente, quel que soit l'endroit où les applications sont exécutées, ou qu'elles soient dans les premières étapes, la modernisation ou la zone d'application native », explique Sue Hahn, IBM Cloud Western Region Business Partner and Channel Sales et IBM Global Markets - Cloud Sales. « Il peut enregistrer et fournir une visibilité sur l'ensemble du spectre : public, sur site, hybride, sur n'importe quel cloud, de façon fluide dans différents environnements. »

L'objectif est de fournir un outil de gestion des registres qui optimise les données d'un développeur.

Hsieh déclare : « Cela signifie que nous nous concentrons fortement sur des éléments comme l'analyse automatique. Toutes les données qui arrivent dans LogDNA sont automatiquement traitées pour vous, car nous pouvons reconnaître exactement de quel type de logs il s'agit. Nous regroupons nos services pour les rendre plus simples et plus faciles à utiliser, de sorte que vous n'ayez pas à vous préoccuper des registres".

LogDNA attribue la capacité de fonctionner de manière cohérente dans le monde entier, quel que soit le centre de données, à l'encombrement mondial offert par IBM. En tant que service d'enregistrement préféré d'IBM, le produit de la société sera disponible dans le catalogue IBM Cloud Service dans toutes les régions de service IBM.

« Nous nous sommes implantés à Dallas, à Francfort, avec des opérations gérées par l'UE, à Tokyo et à Londres », explique M. Hsieh. « Nous serons bientôt à Sydney. Rien de tout cela ne serait possible sans la cohérence qu'apporte IBM, c'est-à-dire un déploiement identique et précis.»

Hahn ajoute : « C'est énorme de pouvoir aider les clients dans un délai très court grâce à la cohérence de l'offre. Quel que soit l'endroit où LogDNA est déployé, il s'agit du même environnement, de sorte que nous n'avons pas à modifier les processus opérationnels. Les clients peuvent sélectionner et commander nos services, indiquer qu'ils souhaitent un enregistrement, et LogDNA est directement intégré dans la commande. »

En outre, IBM utilise LogDNA comme outil Log Analysis pour ses systèmes internes.

La majeure partie du partenariat concerne l'utilisation de IBM Cloud Kubernetes Service par LogDNA, mais la société s'engage également avec IBM Cloud Object Storage à des fins de test, car le produit offre une intégration directe dans Cloud Object Storage.À l'avenir, selon M. Hsieh, il est prévu d'appliquer d'autres services IBM, comme la technologie IBM Watson, pour augmenter ses capacités de machine learning, ou un Multicloud Manager.

« À l'heure actuelle, notre produit est fortement axé sur l'espace DevOps. Notre point fort réside dans la fourniture de meilleures informations et d’une meilleure observabilité dans les piles de développement. Nous construisons des outils qui permettent aux développeurs de ne pas penser du tout aux journaux. Nous offrons la commodité d'un outil de gestion des registres très robuste sans avoir à gérer ou à configurer quoi que ce soit », explique M. Hsieh. "La mise en place de solutions d'enregistrement entraîne des coûts cachés en termes de ressources et de temps. En fin de compte, nous permettons à nos clients de se concentrer sur ce qu'ils ont à faire. »

Basée à Mountain View, en Californie, LogDNA (le lien se trouve en dehors d'ibm.com) est un développeur de logiciels et un fournisseur de services qui propose la gestion des registres et d'autres solutions à des entreprises telles qu'IBM, Lime et Instacart. L'entreprise a été créée en 2015 et emploie environ 70 personnes.