Stanford CS336 Assignment 1 Section 2: BPEトークナイザー
Stanford CS336 Assignment 1でバイトレベルBPEの訓練と、テキストとID列の相互変換を実装した記録。
#python
3件の記事
-
-
Pythonのheapq(Heap)について
ヒープとは ヒープ（heap）は完全二分木の形をしたデータ構造で、「親は常に子以下（or 以上）」という局所的な大小関係だけを保証する。 - min-heap: 親 $\leq$ 子。根が常に最小 - max-heap: 親 $\geq$ 子。根が常に最大 「ヒープ ≠ ソート済み」であることに注意…
-
Pythonのbisectについて
TL;DR - bisect はソート済み配列に対する二分探索を手軽に使える標準ライブラリ - bisect left と bisect right で挿入位置の基準を使い分ける - insort でソートを保ったままの挿入も簡単にできる bisectとは bisect はソート済みリストに対して二…