Panorama de trabajo actual

[harakiri]

Ahora que esta tanto en las noticias el tema de la inteligencia artificial y lo que afecta eso el mercado laboral para la gente que trabaja en informatica, como se esta perfilando la vida? les ha afectado algo asunto?

Me imagino que los que tenemos trabajo tenemos mejores perspectivas que los que estamos buscando... pero se nota que el mercado se va a poner dificl para la gente que esta empezando.

[hielasangre]

Particularmente estoy trabajando con ciberseguridad bancaria, no he visto que sea contraproducente (todavía), más bien lo veo como que puede ser un gran complemento, pero lo que si he notado que en otros trabajos del rubro de ciberseguridad si se esta usando demasiado, más de lo que me gustaría para ser honesto...

[Juano.exe]

Yo tengo laburo mixto, trabajo en ciberseguridad siendo profesor en Universidad y trabajo como administrativo en organización gubernamental (soporte técnico informatico).
Y en estas dos trabajos tengo el soporte la inteligencia artificial O sea que puedo mejorar mi performance haciendo consultas, buscando e indagando acceso a guías, me da ejemplos y muchas cosas que antes demoraba mucho. Es un gran herramienta, que da mucho soporte pero como vos bien decís la implementación de soluciones basada en inteligencia artificial van a dificultar el acceso al mercado para personas que están intentando entrar como primer laburo.

[bayaspirinha]

En mi laburo están dejando un poco de lado los pentest tradicionales (sin descartarlos del todo) y están haciendo mucho hincapié en Pentest de IA, algunas puertas se van abriendo para algunos rubros pero parece que son más las que se cierran, si tuviese que adivinar diría que va a afectar más a lo defensivo/blue team   

[hielasangre]

Buenisimo el aporte bayas! Crees que eso con el tiempo pueda afectar la calidad de los pentest que se realizan?

[cl45h]

En mi laburo están dejando un poco de lado los pentest tradicionales (sin descartarlos del todo) y están haciendo mucho hincapié en Pentest de IA, algunas puertas se van abriendo para algunos rubros pero parece que son más las que se cierran, si tuviese que adivinar diría que va a afectar más a lo defensivo/blue team   

Y como ves a los pentest con IA? tiran mucha fruta? la ia hace años esta en los edr, y demas cosas, pero sigo pensando que al menos a dia de hoy, de IA realmente no tiene mucho.

[bayaspirinha]

Nosotros no hacemos Pentest con IA, sino que la idea es pentestear a las mismas, ahora que están saliendo muchos agentes de IA para empresas, servidores MCP y demás, hay vulns que son grosas y muy originales

Igualmente si pienso que los pentests realizados x IA van a tener mucha dificultad en encontrar vulnerabilidades en flujos complejos/criticos

[cl45h]

Nosotros no hacemos Pentest con IA, sino que la idea es pentestear a las mismas, ahora que están saliendo muchos agentes de IA para empresas, servidores MCP y demás, hay vulns que son grosas y muy originales

Igualmente si pienso que los pentests realizados x IA van a tener mucha dificultad en encontrar vulnerabilidades en flujos complejos/criticos

entendi mal jaja, por eso y que buscan en pentest a las IA? bypassear lo que tiene que decir? acceso al server dnd esta hosteado?

[bayaspirinha]

Creo que el core está en extraer información a la que no deberías tener acceso, lekear el prompt del sistema, bypassearlo, agencia excesiva (e.g bloquear usuarios), impersonificar otros usuarios para leer su casilla de mail (esto mas que nada en los  que son agentes internos), están los clasicos como XSS via file upload, RCE, data poisoning, SSRF

les dejo un par de playgrounds:

https://portswigger.net/web-security/llm-attacks
https://promptairlines.com
https://myllmbank.com
https://myllmdoc.com
https://tensortrust.ai/
https://learnprompting.org/docs/prompt_hacking/injection
https://learnprompting.org/hackaprompt-playground
https://www.aicrowd.com/challenges/hackaprompt-2023
https://prompting.ai.immersivelabs.com
https://gpa.43z.one
https://huggingface.co/spaces/detoxioai/Pokebot
https://wrongsecrets.herokuapp.com/challenge/challenge-32
https://www.yudbot.com
https://hackmerlin.io
https://academy.hackthebox.com/module/details/297