#preprocessing

チャンク分割

長い文章を意味のまとまりごとに小さく切り分けて、AIが検索しやすくする前処理です。

データクレンジング

表記ゆれや欠損、重複を整えて、データを分析に使える状態に掃除する作業のことです。