基於ROUGE指標評估生成式AI模型之偏差與雜訊

Evaluating the bias and noise of generative AI models based on ROUGE indicators

郭博仁

《工程、技術與STEM教育研討會》 第十三屆 (2024/08) Pp. 454-461

https://doi.org/10.29619/STEM.202408.0035

摘要

研究背景：探討生成式AI模型生成文的偏差與雜訊，提升品質與可信度。研究目的：ROUGE指標評估模型偏差與雜訊，客觀與共通性評估指標。研究方法：以Python語言模擬ROUGE指標實驗，進行性能與資料分析。研究發現：經由ROUGE指標評估，聚焦生成文的偏差與雜訊現象。研究結論：ROUGE指標有效評估生成式AI模型的偏差與雜訊，協助品質提升。

關鍵字

ROUGE指標 ； 偏差 ； 雜訊

並列摘要

Background: Explore biases and noise in generative AI text, emphasizing quality enhancement. Purpose: Utilize ROUGE indicators for objective evaluation and model comparison. Methods: Conduct simulated ROUGE experiments in Python for comprehensive analysis. Results: ROUGE reveals notable biases and noise in generated text. Conclusions: ROUGE is effective for assessing and improving generative AI model quality.

並列關鍵字

ROUGE ； bias ； noise