Googleは、危機の瞬間にユーザーがメンタルヘルスリソースをより適切に取得できるようにGeminiを更新したと発表した。この変更は、同社のチャットボットが男性を自殺するよう「指導した」と主張する過失致死訴訟に直面している中で行われたもので、AI製品による具体的な害を主張する一連の訴訟の最新事例である。

会話が自殺や自傷に関連する潜在的な危機状態にあることを示した場合、Geminiはすでに「Help is available」モジュールを起動し、自殺ホットラインや危機テキストラインなどのメンタルヘルス危機リソースにユーザーを誘導する。Googleによると、この更新（実際には再設計に近いもの）は、これを「ワンタッチ」インターフェースに合理化し、ユーザーが迅速に支援を受けやすくなるという。