05. n-gram

問題

与えられたシーケンス（文字列やリストなど）からn-gramを作る関数を作成せよ．この関数を用い，“I am an NLPer”という文から単語bi-gram，文字bi-gramを得よ．

ヒント

n-gramとは、文字列をn個ずつに分割する方法である。

例えば「私はTENTOの生徒です」という文章にn-gramを使うと

• n=1 (uni-gram): 「私」「は」「T」「E」「N」「T」「O」「の」「生」「徒」「で」「す」
• n=2 (bi-gram): 「私は」「TE」「NT」「Oの」「生徒」「です」
• n=3 (tri-tram): 「私はT」「ENT」「Oの生」「徒です」

となる。

関数の作り方

def を使うと関数を作ることができる。

関数の形

def 関数名(引数):
    関数の処理

関数の例

# x, yを引数にとって、足し算の結果を返す関数
def add(x, y):
    return x + y

回答例

ここをクリックして回答を見る

# 文字列sを、数字nでn-gramする関数
def ngram(s, n):
    result = []
    last = len(s) - n + 1 # n個ずつに分割できる最後の位置

    for i in range(last):
        result.append(s[i:i+n]) # スライスを使って、i から i+n までを切り取る

    return result

s = "I am an NLPer"
print(ngram(s, 2)) # 関数ngramを2で呼び出すと、bi-gramとなる