#scaling

オートスケーリング

アクセスの増減に合わせて、サーバーの台数を自動で増やしたり減らしたりする仕組みのことです。

スケーラビリティ

利用者や処理が増えても、性能を保ったまま規模を広げられる性質のことです。

メッセージキュー

処理の依頼を列にためて、受け手が順に取り出して片づけるためのしくみです。

混合エキスパート（MoE）

得意分野の違う小さなモデルをたくさん用意し、入力ごとに一部だけ使う仕組みです

創発的能力

モデルを大きくしていくと、ある規模を超えた途端に急にできるようになる能力のことです。