Listing Thumbnail

    WhyLabs AI Observatory: The Data and ML Monitoring Platform

     Info
    Sold by: WhyLabs 
    Model monitoring, data health, data drift detection, and AI observability.

    Overview

    Play video

    WhyLabs is the essential AI Observability Platform for model and data health. It is the only machine learning monitoring and observability platform that doesn't operate on raw data, which enables a no-configuration solution, privacy preservation, and massive scale.

    Machine learning engineers and data scientists rely on the platform to monitor ML applications and data pipelines by surfacing and resolving data quality issues, data bias, and concept drift. These capabilities help AI builders reduce model failures, avoid downtime, and ensure customers are getting the best user experience. With out-of-the-box anomaly detection and purpose-built visualizations, WhyLabs eliminates the need for manual troubleshooting and reduces operational costs.

    The platform can monitor tabular, image, and text data. It integrates with many popular ML and data tools including Pandas, Apache Spark, AWS Sagemaker, MLflow, Flask, Ray, RAPIDS, Apache Kafka, and more. To learn more about what data types WhyLabs can work with and which tools we integrate with, check out the whylogs GitHub page: https://github.com/whylabs/whylogs 

    WhyLabs was created at the Allen Institute for Artificial Intelligence (AI2) by Amazon Machine Learning alums and is backed by Andrew Ng's AI Fund.

    For custom pricing, EULA, or a private contract, please contact AWSMarketplace@whylabs.ai  for a private offer.

    Highlights

    • Enable data and model monitoring quickly and securely: Automated monitoring and alerting across dozens of "data vitals" with out-of-the-box configurations and lightweight integrations. Cloud agnostic, built with AWS-grade privacy and security. Integration takes less than an hour.
    • Deliver the impact models were designed for: Improve model performance, resilience, and auditability with alerting and reporting tools. Monitor model inputs, outputs, performance as well as upstream data quality in one platform.
    • Achieve AI Governance across the organization: Track all relevant metrics associated with the data that flows through Al applications. Enabling observability in Al applications is key for achieving Al Governance best practices.

    Details

    Delivery method

    Deployed on AWS

    Unlock automation with AI agent solutions

    Fast-track AI initiatives with agents, tools, and solutions from AWS Partners.
    AI Agents

    Features and programs

    Financing for AWS Marketplace purchases

    AWS Marketplace now accepts line of credit payments through the PNC Vendor Finance program. This program is available to select AWS customers in the US, excluding NV, NC, ND, TN, & VT.
    Financing for AWS Marketplace purchases

    Pricing

    WhyLabs AI Observatory: The Data and ML Monitoring Platform

     Info
    Pricing is based on the duration and terms of your contract with the vendor. This entitles you to a specified quantity of use for the contract duration. If you choose not to renew or replace your contract before it ends, access to these entitlements will expire.
    Additional AWS infrastructure costs may apply. Use the AWS Pricing Calculator  to estimate your infrastructure costs.

    1-month contract (6)

     Info
    Dimension
    Description
    Cost/month
    1 Model (free tier)
    Monitoring for one model
    $0.00
    2 Models
    Monitoring for two models
    $100.00
    3 Models
    Monitoring for three models
    $200.00
    4 Models
    Monitoring for four models
    $300.00
    5 Models
    Monitoring for five models
    $400.00
    WhyLabs Enterprise
    Enterprise contract with model monitoring at scale
    $8,333.33

    Vendor refund policy

    No refunds

    How can we make this page better?

    We'd like to hear your feedback and ideas on how to improve this page.
    We'd like to hear your feedback and ideas on how to improve this page.

    Legal

    Vendor terms and conditions

    Upon subscribing to this product, you must acknowledge and agree to the terms and conditions outlined in the vendor's End User License Agreement (EULA) .

    Content disclaimer

    Vendors are responsible for their product descriptions and other product content. AWS does not warrant that vendors' product descriptions or other product content are accurate, complete, reliable, current, or error-free.

    Usage information

     Info

    Delivery details

    Software as a Service (SaaS)

    SaaS delivers cloud-based software applications directly to customers over the internet. You can access these applications through a subscription model. You will pay recurring monthly usage fees through your AWS bill, while AWS handles deployment and infrastructure management, ensuring scalability, reliability, and seamless integration with other AWS services.

    Support

    AWS infrastructure support

    AWS Support is a one-on-one, fast-response support channel that is staffed 24x7x365 with experienced and technical support engineers. The service helps customers of all sizes and technical abilities to successfully utilize the products and features provided by Amazon Web Services.

    Product comparison

     Info
    Updated weekly

    Accolades

     Info
    Top
    100
    In Data Governance
    Top
    50
    In Computer Vision
    Top
    25
    In Observability, Software Development

    Customer reviews

     Info
    Sentiment is AI generated from actual customer reviews on AWS and G2
    Reviews
    Functionality
    Ease of use
    Customer service
    Cost effectiveness
    27 reviews
    Insufficient data
    2 reviews
    Insufficient data
    Insufficient data
    Insufficient data
    Insufficient data
    23 reviews
    Insufficient data
    Positive reviews
    Mixed reviews
    Negative reviews

    Overview

     Info
    AI generated from product descriptions
    Data Type Monitoring
    Supports monitoring of tabular, image, and text data across machine learning applications
    ML Tool Integration
    Integrates with popular machine learning and data tools including Pandas, Apache Spark, AWS SageMaker, MLflow, Flask, Ray, RAPIDS, and Apache Kafka
    Anomaly Detection
    Out-of-the-box automated anomaly detection capabilities for identifying data quality issues, data bias, and concept drift
    Privacy Preservation
    No-configuration solution that operates without processing raw data, ensuring privacy and enabling massive scale monitoring
    Observability Capabilities
    Automated monitoring and alerting across multiple data vitals with lightweight integrations and purpose-built visualizations
    Model Performance Monitoring
    Comprehensive tracking and analysis of model performance across various machine learning domains including tabular, deep learning, computer vision, natural language processing, and large language models
    Anomaly Detection
    Advanced capabilities to identify and mitigate model drift, data integrity issues, hallucination, accuracy, safety, and security problems in AI deployments
    Advanced Analytics
    Utilization of 3D UMAP visualization for macro-level trend analysis and root cause diagnostics for micro-level model performance investigation
    Security Compliance
    SOC2 Type 2 security compliance with role-based access control (RBAC) for secure model operationalization and environment protection
    Model Validation
    Comprehensive model validation and improvement mechanisms to enhance model outputs and optimize deployment outcomes before production
    Model Performance Monitoring
    Automated monitoring platform for detecting and troubleshooting machine learning model performance issues in real-time
    Drift Detection
    Comprehensive tracking of prediction, data, and concept drift across multiple model facets with hourly-level granularity
    Data Quality Validation
    Automated checks for detecting missing, unexpected, or extreme values in model input and output datasets
    Model Interpretability
    Advanced feature importance analysis using SHAP techniques to explain model prediction distributions
    Visualization and Analytics
    Dynamic data visualization with pre-configured and customizable dashboards for statistical distribution and performance heatmap analysis

    Contract

     Info
    Standard contract
    No
    No
    No

    Customer reviews

    Ratings and reviews

     Info
    0 ratings
    5 star
    4 star
    3 star
    2 star
    1 star
    0%
    0%
    0%
    0%
    0%
    0 AWS reviews
    |
    27 external reviews
    Star ratings include only reviews from verified AWS customers. External reviews can also include a star rating, but star ratings from external reviews are not averaged in with the AWS customer star ratings.
    Conseil

    J'ai construit une solution de surveillance avec Whylabs pour plusieurs modèles de ML pour un de mes clients.

    Reviewed on Nov 21, 2024
    Review provided by G2
    Qu'aimez-vous le plus Ă  propos de the product?
    L'interface utilisateur est très conviviale et l'équipe de support est extrêmement réactive et serviable.
    Que n’aimez-vous pas à propos de the product?
    Certaines fonctionnalités, telles que la suppression d'un profil ou la modification du type de données d'une fonctionnalité, ne peuvent être effectuées que via l'API.
    Quels sont les problèmes que the product résout, et en quoi cela vous est-il bénéfique?
    Détection de dérive des données et des concepts
    Surveillance des performances du modèle
    Internet

    Whylabs nous a aidés à mettre en place une surveillance de bout en bout de nos projets de ML.

    Reviewed on Nov 19, 2024
    Review provided by G2
    Qu'aimez-vous le plus Ă  propos de the product?
    * Le support client est très utile et proactif
    * L'outil permet une ingestion facile d'un grand nombre de fonctionnalités et la mise en place d'une surveillance initiale sur celles-ci
    * Nous pouvons l'utiliser pour surveiller à la fois la qualité des entrées et la performance du modèle
    * Les alertes peuvent être envoyées à un groupe spécifique d'utilisateurs via des canaux spécifiques (email/slack), ce qui est utile
    Que n’aimez-vous pas à propos de the product?
    * Il peut être difficile de configurer la surveillance de la bonne manière en ce qui concerne la sensibilité - cela nécessite beaucoup d'essais et d'erreurs
    * Certaines actions ne sont pas possibles via l'interface utilisateur et nécessitent des appels API spécifiques
    * La documentation peut ĂŞtre difficile Ă  naviguer
    Quels sont les problèmes que the product résout, et en quoi cela vous est-il bénéfique?
    Surveiller la performance du modèle et la qualité des données d'entrée en un seul endroit.
    Houssam K.

    Excellent outil pour la surveillance de l'apprentissage automatique avec de nombreuses solutions prĂŞtes Ă  l'emploi.

    Reviewed on Nov 14, 2024
    Review provided by G2
    Qu'aimez-vous le plus Ă  propos de the product?
    Génial de collaborer avec; très réactif; apprécie vraiment leurs OHs pour aider avec les problèmes qui surgissent; de nombreuses solutions innovantes pour différents types de modèles ML qui nous ont vraiment aidés étant donné la grande variété de modèles ML que nous utilisons dans l'entreprise.
    Que n’aimez-vous pas à propos de the product?
    Rien de majeur à mentionner ! Nous avons tout résolu et l'équipe a été très serviable.
    Quels sont les problèmes que the product résout, et en quoi cela vous est-il bénéfique?
    Dérive des données et surveillance de l'apprentissage automatique
    Rafael S.

    Développé des solutions efficaces pour optimiser les flux de travail ERP grâce à l'analyse des données.

    Reviewed on Sep 18, 2024
    Review provided by G2
    Qu'aimez-vous le plus Ă  propos de the product?
    L'une des caractéristiques remarquables de WhyLabs est ses capacités robustes d'observabilité des données. Il offre une surveillance continue des pipelines de données et des modèles ML, permettant aux équipes d'identifier rapidement des problèmes tels que la dérive des données, la dégradation des modèles et le décalage entre l'entraînement et la mise en production. L'intégration préservant la confidentialité de la plateforme garantit que les données peuvent être analysées sans être déplacées ou dupliquées, ce qui est essentiel pour maintenir la sécurité et la confidentialité dans des secteurs sensibles comme la santé et la finance.
    Que n’aimez-vous pas à propos de the product?
    Un inconvénient potentiel de WhyLabs est le nombre relativement limité d'avis et de retours d'utilisateurs en raison de sa nouveauté sur le marché, ce qui rend plus difficile pour les utilisateurs potentiels d'évaluer ses performances réelles à grande échelle. Ce manque d'avis détaillés peut soulever des préoccupations concernant sa maturité et son infrastructure de support. De plus, étant donné qu'il s'agit d'une plateforme plus récente, certaines fonctionnalités avancées pourraient encore être en développement, et il pourrait y avoir des courbes d'apprentissage abruptes pour les équipes peu familières avec les outils d'observabilité en apprentissage automatique.
    Quels sont les problèmes que the product résout, et en quoi cela vous est-il bénéfique?
    Problèmes de qualité des données : Cela aide à détecter et à résoudre les dérives de données et les problèmes d'intégrité des données tôt, ce qui est crucial pour maintenir des modèles d'apprentissage automatique précis et fiables.
    Biotechnologie

    Surveillance fiable de l'IA avec une certaine complexité

    Reviewed on Sep 13, 2024
    Review provided by G2
    Qu'aimez-vous le plus Ă  propos de the product?
    J'aime les solutions de préservation de la vie privée pour l'extension des modèles d'IA. J'aime que WhyLabs offre un support réactif et une documentation détaillée.
    Que n’aimez-vous pas à propos de the product?
    Je n'aime pas que la plateforme puisse être trop technique pour les utilisateurs qui ne sont pas bien versés en IA ou en science des données.
    Quels sont les problèmes que the product résout, et en quoi cela vous est-il bénéfique?
    WhyLabs m'aide à résoudre des problèmes tels que la dérive des données et la dégradation des performances dans mes modèles d'IA. C'est crucial car je travaille avec des données médicales sensibles.
    View all reviews