Este verano en mi empresa se dio el evento que todo diseñador de experiencia de usuario desea: desde dirección nos daban permiso para hacer pruebas de usuario. Por ello nos pusimos a investigar las distintas plataformas existentes en el mercado, con algunas necesidades en mente:
- La plataforma debía contar con una base de usuarios de todo el mundo, no solo de habla española: España, UK, Alemania, EEUU, Canada, Australia, Argentina, México y Brasil.
- La plataforma pagara directamente a los usuarios.
Aun así, también buscamos plataformas que solo nos consiguieran los usuarios, ya que al empezar a investigar vimos que era difícil encontrar un panel como el que buscábamos.
Aparte, queríamos otras cosas básicas:
- Screener para la selección de usuarios
- Tests moderados y no moderados, ya que era los principales test que queríamos hacer, tanto con móviles como escritorio.
- Permitiera la grabación de la pantalla del dispositivo y la voz del usuario.
- Usuarios lo más reales posibles y con un elevado nº de días entre posibles pruebas que realicen.
- Realización por parte de la plataforma del informe.
- Permitiera valorar al usuario al hacer el test y si este no era válido no pagarlo.
- Tuviera análisis de IA reconociendo los estados anímicos en base a lo hablado (Esta funcionalidad nos la enseñaron varias y nos encantó).
- …
Comenzamos con un listado de posibles plataformas:
- UserTesting, dueños también de Userzoom > https://www.usertesting.com/
- Userlytics > https://www.userlytics.com/
- We are testers > https://www.wearetesters.com/
- Maze > https://maze.co/
- Trymata, antiguamente TryMyUI > https://trymata.com/es/
- Lookback > https://www.lookback.com/
- Optimal Workshop > https://www.optimalworkshop.com/
- UsabilityHub > https://usabilityclone.vercel.app/
- Validately (comprado por UserTesting)
- Useberry > https://www.useberry.com/
- VWO > https://vwo.com
Base de usuarios
En realidad para detectar posibles problemas de usabilidad, como en nuestro caso que queríamos comprender si se se entendían la navegación por las diferentes opciones de precios presentadas en la ficha, bastaría con hacer test en un solo país y no complicarte con otros idiomas.
Por poner un ejemplo real, queríamos saber si los usuarios veían que aparte de precios de solo alojamiento, ofrecíamos precios de alojamientos con un extra o paquete, como por ejemplo un spa o una entrada a PortAventura (a mejor precio que si lo compras separado). Realizando test moderados o no moderados en España, presentando diferentes diseños a ver cómo quedaba más clara la información ya podríamos obtener lo que buscábamos.
Si que es verdad, que cuando crees que has dado con una buena solución, debes igualmente testearla en otros países. En este caso, comenzaría por un test cuantitativo para ver si hay diferencia en el número de productos comprados, y en el caso de que la así sea, ver si puede haber un problema con las traducciones, o es problema del producto, ya que a lo mejor los paquetes o extras presentados en otros países no son tan atractivos.
Internamente hacemos pruebas con diferentes VPNs, pero desde dirección nos pedían hacer tests de usuarios por todo el mundo con el objetivo de comprobar que la página se viera bien, se cargase rápido, salieran los métodos de pago adecuados a cada país, se entendieran bien los textos… con IPs y conexiones reales.
Por ejemplo, a raíz de otro proyecto descubrimos que algunas veces los usuarios tienen puesto de forma automática el traductor del navegador el cual hace que si un texto está en la web sin traducir (osea mal) lo traduce de forma automática.
De ahí que buscásemos una plataforma que tuviera paneles con una muy amplia variedad de usuarios en distintos países.
Conclusiones de las plataformas de test de usuarios
Lo primero que averiguamos es que no es nada fácil obtener el precio que cuestan. En la mayor parte de las ocasiones, hay que rellenar un formulario para que se pongan en contacto contigo y que te han una presentación, contar tus necesidades… Esto dificulta bastante el timing de hacer la investigación y tomar una conclusión.
Datos no 100% reales. En la web indican que cuentan con paneles de usuarios de todo el mundo y a la hora de la verdad, solo tienen de unos pocos países, y en muchas ocasiones exclusivos de habla inglesa.
Algunas no emplean euros o dólares por test/usuario sino que usan créditos. Con lo cual no queda muy claro cuántos créditos necesitas para hacer los tipos de test que necesitas, ni cuanto te acaba costando cada test.
El número de asientos incluídos. Nuestro equipo de tester era de 3 personas. Algunas plataformas tienen asientos ilimitados de usuarios, pero otras pagas por cada usuario que pueda acceder. Esto era el menor problema porque, como nos aconsejó una de ellas, con 1 email podríamos acceder todos (lógicamente no a la vez) y no teníamos la necesidad de mandar links de los vídeos de los test a otras terceras personas, como puede ser el caso cuando trabajas en una agencia y quieres enviar acceso a los clips con problemas más destacados a distintos equipos de tus clientes.
Tiene un precio muy elevado sino te dedicas a la investigación 100%. En nuestra mente contábamos con 2 modalidades de pago, pagar una cuota por usar la plataforma al mes/año y otro tanto por cada usuario/test, o conseguir los usuarios por otra plataforma, y pagar cuota por el uso de la plataforma de testing.
Aquí van los precios reales:
- Unas cuentan con un precio mínimo para usar la plataforma, tipo 3500-7000€. En ese precio están incluidos test con los siguientes precios (aprox): unos 190€ test moderado, 100€ test no moderado, 12 € cuantitativo, 500€ un account manager que te aconseje…
- Otras, su cuota más baja es de 25.000 USD al año con 100 créditos para testing, o casi 10.000€ para 600 unidades de sesión, 13.000 para 250 unidades de sesión.
Tiene funcionalidades que si estás en una empresa de testing son indispensables, como el poder ir tomando notas asociadas a cada segundo de la grabación, cortar clips y mandarlos o descargarlos para su uso en presentaciones, empleo de la inteligencia artificial para conseguir gráficas del tono de la sesión…
A veces parece que hablan de proyectos. Principalmente queríamos testear el lanzamiento de la búsqueda y el funnel de compra, pero así mismo también llevábamos en mente pruebas de la página de detalle de una reserva (donde se accede una vez comprada la reserva a modificarla, anularla, pagarla, crosselling…). Todo esto cae bajo el mismo dominio pero con 3 subdominios distintos (y de hecho son 3 equipos de desarrollo distintos). Por lo que si solo te entra un proyecto, puede que no nos permitiesen los test que queríamos hacer.
En nuestro caso, no sabíamos exactamente el número de test que queríamos hacer durante el año, con lo cual eso dificultaba mucho la estimación de nuestras necesidades.
Y qué paso al final….
Como ya sabemos por los muchos congresos asistidos, mucha gente dice que hace experiencia de usuario, pero en realidad está desarrollando funcionalidades en base a su experiencia en diseño, patrones de interacción, psicología… Y si, la experiencia y el conocimiento ayudan, pero no solo basta eso si quieres desarrollar un gran producto.
Como especialistas en experiencia de usuario conocemos el gran valor que tienen los test con usuarios, y el ahorro de tiempo y dinero que pueden ser, antes de realizar funcionalidades no deseadas por el usuario o desarrollarlas de forma que no se entiendan.
Pero…. al presentar los números para que dieran el visto bueno la cosa se complicó, ya que es una inversión bastante elevada. Es decir, sería mucho más sencillo vender una plataforma donde se pague (me inventó) unos 250€ al mes por investigador más 200€ por cada test moderado que se quiera realizar o 100€ no moderado) que no comenzar por una inversión de golpe 3500€ para hacer x tests.
Y es que claro, sin pruebas reales donde vean el retorno directo es difícil de vender.
¿Queréis saber qué hicimos? Os lo cuento en el siguiente post.