Written by Richard Addiscott, VP analyst, Gartner
The rapid adoption of generative AI (GenAI) is exposing weaknesses in traditional cybersecurity awareness efforts as employees frequently use unsanctioned GenAI solutions in the workplace. This unknowingly puts sensitive company information at risk.
The integration of GenAI tools into daily workflows outpaces existing security controls, while threat actors are exploiting the same technology to sharpen their campaigns. This combination is creating risks that many cybersecurity programs were not designed to manage.
A recent Gartner survey revealed over 57% of employees use personal GenAI accounts for work and 33% admit to inputting sensitive work information into public or unapproved GenAI tools. The challenge grows as 36% either download or use unapproved GenAI tools on their work devices. These behaviours significantly increase the risk of cyber incidents and regulatory non-compliance.
At the same time, threat actors are leveraging GenAI to launch highly sophisticated deepfake, phishing and social engineering attacks. Gartner research shows 35% of organisations have faced deepfake incidents and 84% of cybersecurity leaders have seen phishing attacks become more advanced in recent years. The number of AI-powered malicious emails has also doubled over the past two years, making detection increasingly difficult for employees.
These trends carry real business consequences if left unaddressed. Privacy and intellectual property risks can escalate into costly incidents with long-term reputational impact, which can impact broader business outcomes.
There is an urgent need for organisations to strengthen their security behaviour and culture programs to foster vigilance and drive behavioural change with employees. This will help manage their interactions with GenAI, focusing on how they utilise AI tools at every level.
Set rules for responsible GenAI use
Many employees are already using AI tools for routine tasks, which means guidance must focus on how to handle sensitive data, intellectual property and data privacy. It should emphasise principles such as data minimisation, so employees understand what information can and can’t be entered into GenAI environments.
To help teams co-manage risks while facilitating agile adoption, ownership must be clarified across the GenAI adoption cycle – who is responsible, accountable, consulted and informed for each activity.
In addition, creating net-new policies must be avoided until existing data governance and privacy acceptable use policies for GenAI have been fully leveraged and adapted. New or adapted policies need to be consistent with the organisation’s code of conduct and corporate values to prevent confusion and misalignment during implementation.
Engage senior leadership
Senior executives must be proactively engaged in risk decisions early to address the operational impacts of GenAI-driven attacks and policy violations. With leadership aligned, a more consistent approach to AI risk can be established.
This involves building a robust governance framework, which reinforces clear usage policies, manages secure AI development and ensures regulatory compliance.
Failing to secure senior leadership buy-in for GenAI governance and behaviour change initiatives can undermine efforts to operationalise effective risk management.
Strengthen employee defences
Security behaviour and culture programs must include AI-specific risk education, deepfake scenarios and advanced attack simulations.
Encourage employees to validate unusual requests and understand that brief operational delays may be necessary when additional security verification is required. Streamlined reporting processes and incentivisation are also essential so employees can quickly raise concerns about suspicious AI interactions.
Don’t rely solely on generic awareness training. Instead, training content must be regularly updated to address emerging GenAI-enabled social engineering tactics and deepfake scenarios.
Embed secure daily practices
Promote AI literacy and transparency across the organisation so employees can safely adopt and report unusual AI outputs. It is also important to stress the role of human oversight for all generated outputs to identify incorrect content.
To sustain behaviour change and foster a security-conscious culture around GenAI, ongoing training and reinforcement is required, not just policy updates or tool restrictions.
เขียนโดย ริชาร์ด แอดดิสคอตต์ รองประธานฝ่ายวิเคราะห์การ์ทเนอร์
การนำ Generative AI (GenAI) มาใช้แพร่หลายอย่างรวดเร็ว เผยให้เห็นถึงจุดอ่อนของการสร้างความตระหนักรู้ด้าน Cybersecurity แบบเดิม ๆ เนื่องจากพนักงานมักนำโซลูชัน GenAI ที่ไม่ได้รับอนุญาตมาใช้ในที่ทำงาน ซึ่งเป็นการนำข้อมูลสำคัญองค์กรไปเสี่ยงโดยไม่รู้ตัว
การนำเครื่องมือ GenAI ต่าง ๆ มาใช้ในกระบวนการทำงานประจำวันนั้นก้าวนำหน้าระบบควบคุมความปลอดภัยที่มีอยู่ ขณะที่ผู้คุกคามก็กำลังใช้เทคโนโลยีเดียวกันนี้ยกระดับการโจมตีให้เฉียบคมยิ่งขึ้น สร้างความเสี่ยงไปยังโปรแกรม Cybersecurity อีกมากมายที่ไม่ได้ออกแบบมาเพื่อรับมือกับความเสี่ยงเหล่านี้
ผลสำรวจล่าสุดจากการ์ทเนอร์พบว่าพนักงานกว่า 57% ใช้บัญชี GenAI ส่วนตัวเพื่อทำงานและ 33% ยอมรับว่ามีการป้อนข้อมูลสำคัญของเนื้องานลงในเครื่องมือ GenAI ที่เป็นสาธารณะหรือไม่ได้รับอนุญาตจากองค์กร ความท้าทายนี้ยิ่งทวีความรุนแรงขึ้นเมื่อ 36% มีการดาวน์โหลดหรือใช้เครื่องมือ GenAI ที่ไม่ได้รับอนุญาตบนอุปกรณ์สำหรับทำงาน พฤติกรรมเหล่านี้เพิ่มความเสี่ยงต่อการเกิดภัยคุกคามทางไซเบอร์และการทำผิดกฎระเบียบข้อบังคับอย่างมีนัยสำคัญ
ขณะเดียวกันผู้คุกคามกำลังใช้ประโยชน์จาก GenAI เปิดการโจมตีในรูปแบบ Deepfake, Phishing และการหลอกลวงทางวิศวกรรมสังคม หรือ Social Engineering ที่มีความซับซ้อนสูง งานวิจัยของการ์ทเนอร์ชี้ว่า 35% ขององค์กรเคยเผชิญกับเหตุการณ์ Deepfake และ 84% ของผู้นำ Cybersecurity พบว่าการโจมตีแบบ Phishing มีความล้ำสมัยมากขึ้นในช่วงไม่กี่ปีที่ผ่านมา นอกจากนี้ ในช่วงสองปีที่ผ่านมายังพบว่ามีจำนวนอีเมลอันตรายที่สร้างโดย AI เพิ่มขึ้นเท่าตัว ทำให้พนักงานตรวจพบได้ยากยิ่งขึ้น
แนวโน้มเหล่านี้หากไม่ได้รับการแก้ไขจะส่งผลกระทบต่อธุรกิจอย่างแท้จริง ทั้งความเสี่ยงด้านความเป็นส่วนตัวและทรัพย์สินทางปัญญา ที่อาจลุกลามเป็นเหตุการณ์ที่สร้างความเสียหายมูลค่ามหาศาล กระทบต่อชื่อเสียงระยะยาว ซึ่งอาจสั่นคลอนผลประกอบการทางธุรกิจในภาพรวมได้
องค์กรจำเป็นเร่งด่วนที่จะต้องเสริมกำลังให้กับโปรแกรมหรือกลยุทธ์ที่มุ่งปรับเปลี่ยนพฤติกรรมและความเชื่อของบุคลากรภายในองค์กร หรือ Security Behaviour and Culture Programs (SBCPs) เพื่อปลูกฝังความตื่นรู้และผลักดันให้เกิดการเปลี่ยนแปลงพฤติกรรมของพนักงาน สิ่งนี้จะช่วยจัดการการมีปฏิสัมพันธ์ร่วมกับ GenAI โดยเน้นไปที่วิธีที่พนักงานใช้เครื่องมือ AI ในทุกระดับ
กำหนดเกณฑ์การใช้ GenAI อย่างมีความรับผิดชอบ
พนักงานจำนวนมากเริ่มใช้เครื่องมือ AI ในงานประจำแล้ว ดังนั้นการสรรหาแนวทางปฏิบัติจึงต้องมุ่งเน้นไปที่วิธีการจัดการข้อมูลละเอียดอ่อน ข้อมูลที่เป็นทรัพย์สินทางปัญญาและข้อมูลที่เป็นส่วนตัว โดยควรเน้นย้ำถึงหลักการ “การใช้ข้อมูลเท่าที่จำเป็น หรือ Data Minimization” เพื่อให้พนักงานเข้าใจว่าข้อมูลใดสามารถหรือไม่สามารถป้อนเข้าสู่สภาพแวดล้อมการทำงานของ GenAI ได้
เพื่อช่วยทีมงานร่วมกันบริหารจัดการความเสี่ยงไปพร้อมกับขยายการใช้งานเทคโนโลยีได้อย่างคล่องตัว จะต้องมีการกำหนด “ความเป็นเจ้าของ” ให้ชัดเจนตลอดวงจรของการนำ GenAI มาใช้ ตั้งแต่ต้องรู้ว่าใครคือผู้รับผิดชอบ, ใครเป็นผู้ตัดสินใจ, ใครให้คำปรึกษา และใครจะเป็นผู้รับทราบข้อมูลในแต่ละกิจกรรม
นอกจากนี้ ควรหลีกเลี่ยงการออกนโยบายใหม่ ๆ จนกว่านโยบายธรรมาภิบาลข้อมูลและนโยบายการใช้งานที่ยอมรับได้ที่มีอยู่เดิมจะได้รับการปรับใช้และปรับปรุงจนครอบคลุม GenAI ทั้งหมด นโยบายที่ปรับแล้วจำเป็นต้องสอดคล้องกับจรรยาบรรณและค่านิยมขององค์กร เพื่อป้องกันความสับสนและการดำเนินการที่ไม่ไปในทิศทางเดียวกัน
สร้างการมีร่วมของผู้บริหารระดับสูง
ผู้บริหารระดับสูงต้องมีส่วนร่วมเชิงรุกในการตัดสินใจด้านความเสี่ยงตั้งแต่เนิ่น ๆ เพื่อรับมือกับผลกระทบต่อการดำเนินงานจากการโจมตีที่ขับเคลื่อนด้วย AI และการละเมิดนโยบาย เมื่อผู้นำมีวิสัยทัศน์ที่ตรงกัน องค์กรก็จะสามารถสร้างแนวทางการรับมือความเสี่ยงจาก AI ที่สอดประสานกันได้ดียิ่งขึ้น
สิ่งนี้รวมถึงการสร้างกรอบการธรรมาภิบาลที่เข้มแข็ง ซึ่งจะช่วยเสริมความแข็งแกร่งให้กับนโยบายการใช้งานที่ชัดเจน จัดการการพัฒนา AI อย่างปลอดภัยและรับประกันการปฏิบัติตามกฎระเบียบ
หากไม่ได้รับความเห็นชอบจากผู้บริหารระดับสูงในเรื่องธรรมาภิบาล GenAI และแผนงานการปรับเปลี่ยนพฤติกรรม ความพยายามในการบริหารจัดการความเสี่ยงให้เห็นผลในทางปฏิบัติก็อาจถูกลดทอนประสิทธิภาพลงได้
เสริมแนวป้องกันให้กับพนักงาน
โปรแกรมพฤติกรรมและวัฒนธรรมความปลอดภัยต้องรวมถึงการศึกษาความเสี่ยงเฉพาะด้าน AI, สถานการณ์จำลอง Deepfake และการจำลองการโจมตีขั้นสูง
ควรกระตุ้นให้พนักงานรู้จักตรวจสอบคำขอที่ผิดปกติ และทำความเข้าใจว่าการปฏิบัติงานล่าช้าเล็กน้อยอาจจำเป็น เพื่อทบทวนสอบความปลอดภัยเพิ่มเติม กระบวนการรายงานที่คล่องตัวและการให้รางวัลตอบแทนก็เป็นสิ่งสำคัญ เพื่อให้พนักงานสามารถแจ้งข้อสงสัยเกี่ยวกับการทำงานของ AI ที่น่าสงสัยได้อย่างรวดเร็ว
ไม่ควรพึ่งพาการฝึกอบรมเพื่อสร้างความตระหนักรู้แบบทั่วไปเพียงอย่างเดียว แต่เนื้อหาการฝึกอบรมจะต้องได้รับการอัปเดตอย่างสม่ำเสมอ เพื่อรับมือกับกลวิธี Social Engineering ที่ใช้ GenAI และสถานการณ์ Deepfake ที่เกิดขึ้นใหม่
ฝังแนวปฏิบัติที่ปลอดภัยไว้ในการทำงานในแต่ละวัน
ส่งเสริมทักษะและการเรียนรู้ด้าน AI หรือ AI Literacy และความโปร่งใสทั่วทั้งองค์กร เพื่อให้พนักงานสามารถนำ AI มาใช้ได้อย่างปลอดภัยและรู้จักรายงานผลลัพธ์ของ AI ที่ผิดปกติ สิ่งสำคัญคือต้องย้ำเตือนถึงบทบาทของ มนุษย์ในการตรวจสอบ หรือ Human Oversight สำหรับผลลัพธ์ที่สร้างขึ้นทั้งหมด เพื่อคัดกรองเนื้อหาที่ไม่ถูกต้อง
การจะรักษาการเปลี่ยนแปลงพฤติกรรมและปลูกฝังวัฒนธรรมที่ตระหนักด้านความปลอดภัยเกี่ยวกับ GenAI ให้ยั่งยืนนั้น จำเป็นต้องมีการฝึกอบรมและกระตุ้นอย่างต่อเนื่อง ไม่ใช่เพียงแค่การอัปเดตนโยบายหรือการสั่งห้ามใช้เครื่องมือเท่านั้น
