MongoDB(38) - インデックスの確認・作成
3分 read (About 478 words)

MongoDB(38) - インデックスの確認・作成

インデックスの確認と作成を行います。

インデックスの確認

memberコレクションのインデックスを確認します。

インデックスの確認にはgetIndexes()を使用します。

[Mongoシェル]

1
2
> db.member.getIndexes()
[ { "v" : 2, "key" : { "_id" : 1 }, "name" : "_id_" } ]

_idフィールドに昇順(=1)のインデックスが作成されていることが分かります。

インデックス名(name)は_id_です。

これは自動的に作成されるデフォルトインデックスです。

インデックスの作成

memberコレクションにインデックスを作成します。

インデックスの作成にはcreateIndex()を使います。

引数にはフィールド名と昇順(=1)か降順(=-1)を指定します。

フィールド名はカンマ区切りで複数指定可能です。

[Mongoシェル]

1
2
3
4
5
6
> db.member.createIndex({LastName:1})
{
        "numIndexesBefore" : 1,
        "numIndexesAfter" : 2,
        "createdCollectionAutomatically" : false,
        "ok" : 1

インデックスが1つから2つに増えたことが確認できます。

“ok”が1となっているのでインデックスが1つ作成されたということになります。


作成したインデックスを確認します。

[Mongoシェル]

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
> db.member.getIndexes()
[
        {
                "v" : 2,
                "key" : {
                        "_id" : 1
                },
                "name" : "_id_"
        },
        {
                "v" : 2,
                "key" : {
                        "LastName" : 1
                },
                "name" : "LastName_1"
        }
]

デフォルトインデックス(_id)のほかに、LastNameフィールドにもインデックスが作成されていることが確認できます。

インデックス作成時にインデックス名を指定していなかったので、自動的に”LastName_1”というインデックス名になっています。


次回は、インデックス作成のオプションを確認します。

MongoDB(37) - インデックスの種類
4分 read (About 633 words)

MongoDB(37) - インデックスの種類

MongoDBでは大量のデータを処理することが多いため、インデックスの作成は必須の設定と言えます。

今回はインデックスの種類についてまとめます。

インデックスの種類

MongoDBでは、次のようなインデックスの種類があります。

  • デフォルトインデックス
    _idフィールドに自動的に作成されるユニークなインデックスのことです。
    このデフォルトインデックスは削除することができません。
  • テキストインデックス
    文字列コンテンツに対するテキスト検索クエリーをサポートするインデックスのことです。
  • TTLインデックス
    特定の時間または特定の時刻に、自動的にドキュメントを削除することができるインデックスです。
  • ハッシュインデックス
    フィールド値のハッシュ値をインデックスします。
  • 地理的インデックス
    プレーンジオメトリを使用する2Dインデックスと、球面ジオメトリを使用する2Dsphereインデックスのことです。

インデックスをつけるべきフィールド

性能面の観点からインデックスをつけるべきフィールドは次の２つです。

  • 検索条件でよく使用するフィールド
  • コレクション結合のキーとなるフィールド

インデックスのデメリット

インデックスを作成すると検索を速くすることができますが、無駄なインデックスがあると次のようなデメリットが発生するので注意が必要です。

  1. 登録、更新、削除の処理が遅くなる。
  2. ディスクの使用量が多くなる。

ただ、このデメリット以上に検索がとても速くなるため、ほとんどのコレクションでインデックスを使うことになります。


次回は、インデックスの確認と作成を行います。

MongoDB(36) - 一括処理（Bulk）⑤一括削除
3分 read (About 386 words)

MongoDB(36) - 一括処理（Bulk）⑤一括削除

今回は、一括削除を行います。

一括削除処理(remove)

順次処理で一括削除を行います。

（並列処理で実行したい場合は、initializeOrderedBulkOp()の代わりにinitializeUnorderedBulkOp()を使います。）

処理の詳細は以下の通りです。

  1. Bulk実行タイプを設定。（1行目）
  2. removeクエリーを設定。（3～5行目）
  3. 一括実行(Bulk実行)。（7行目）

[Mongoシェル]

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
> var bulk = db.member.initializeOrderedBulkOp()

> bulk.find({LastName:'武元'}).removeOne()
> bulk.find({LastName:'松田'}).removeOne()
> bulk.find({LastName:'加藤'}).removeOne()

> bulk.execute()
BulkWriteResult({
        "writeErrors" : [ ],
        "writeConcernErrors" : [ ],
        "nInserted" : 0,
        "nUpserted" : 0,
        "nMatched" : 0,
        "nModified" : 0,
        "nRemoved" : 3,
        "upserted" : [ ]
})

> db.member.find()
{ "_id" : ObjectId("613e8ff0d1340480894d324d"), "LastName" : "伊藤", "age" : 43 }

３件のドキュメントを一括で削除することができました。

Pythonで操作

上記の処理をPythonで行うと、次のようになります。

[ソースコード]

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
import pymongo
from pymongo import MongoClient
from pymongo import DeleteOne
from pymongo.errors import BulkWriteError

# MongoDB操作用のインスタンスを作成
client = MongoClient()  # [IPとポートを指定する場合] MongoClient('10.200.243.203', 27017')

# データベースの取得
db1 = client.db1

# 一括入れ替え
requests = [
    DeleteOne({'LastName': '武元'}),
    DeleteOne({'LastName': '松田'}),
    DeleteOne({'LastName': '加藤'})
]

try:
    db1.member.bulk_write(requests)                   # 順次処理
    # db.member.bulk_write(requests, ordered=False)   # 並列処理
except BulkWriteError as bwe:
    pprint(bwe.details)

# 入れ替え内容の確認
docs = db1.member.find()
for doc in docs:
    print(doc)

次回からは、検索を高速化するためのインデックに関する操作を行います。

MongoDB(35) - 一括処理（Bulk）④一括登録／一括更新処理(upsert)
5分 read (About 679 words)

MongoDB(35) - 一括処理（Bulk）④一括登録／一括更新処理(upsert)

今回は、一括登録／一括更新処理(upsert)を行います。

一括登録／一括更新処理(upsert)

順次処理で一括登録／一括更新処理(upsert)を行います。

upsert処理では該当するデータが存在する場合は更新を行い、該当するデータがない場合は登録を行います。

（並列処理で実行したい場合は、initializeOrderedBulkOp()の代わりにinitializeUnorderedBulkOp()を使います。）

処理の詳細は以下の通りです。

  1. Bulk実行タイプを設定。（1行目）
  2. upsertクエリーを設定。（3～6行目）
    前半の3件が更新処理で、最後の1件が登録処理になります。
  3. 一括実行(Bulk実行)。（8行目）

[Mongoシェル]

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
> var bulk = db.member.initializeOrderedBulkOp()

> bulk.find({LastName:'武元'}).upsert().updateOne({$set:{age:12}})  // 更新
> bulk.find({LastName:'松田'}).upsert().updateOne({$set:{age:23}})  // 更新
> bulk.find({LastName:'加藤'}).upsert().updateOne({$set:{age:33}})  // 更新
> bulk.find({LastName:'伊藤'}).upsert().updateOne({$set:{age:43}})  // 追加

> bulk.execute()
BulkWriteResult({
        "writeErrors" : [ ],
        "writeConcernErrors" : [ ],
        "nInserted" : 0,
        "nUpserted" : 1,
        "nMatched" : 3,
        "nModified" : 3,
        "nRemoved" : 0,
        "upserted" : [
                {
                        "index" : 3,
                        "_id" : ObjectId("613e8ff0d1340480894d324d")
                }
        ]
})

> db.member.find()
{ "_id" : ObjectId("613e8e9a0fb0f3e6cf9e2b87"), "LastName" : "武元", "FirstName" : "ゆい", "age" : 12 }
{ "_id" : ObjectId("613e8e9a0fb0f3e6cf9e2b88"), "LastName" : "松田", "FirstName" : "りな", "age" : 23 }
{ "_id" : ObjectId("613e8e9a0fb0f3e6cf9e2b89"), "LastName" : "加藤", "FirstName" : "しほ", "age" : 33 }
{ "_id" : ObjectId("613e8ff0d1340480894d324d"), "LastName" : "伊藤", "age" : 43 }

前半の3ドキュメントに関してはデータが存在していたので、既存データにageフィールドが追加されています。

最後の1ドキュメントに関してはデータが存在していなかったため、新規ドキュメントとしてデータが追加されています。

Pythonで操作

上記の処理をPythonで行うと、次のようになります。

[ソースコード]

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
import pymongo
from pymongo import MongoClient
from pymongo import UpdateOne
from pymongo.errors import BulkWriteError

# MongoDB操作用のインスタンスを作成
client = MongoClient()  # [IPとポートを指定する場合] MongoClient('10.200.243.203', 27017')

# データベースの取得
db1 = client.db1

# 一括入れ替え
requests = [
    UpdateOne({'LastName': '武元'},{'$set':{'age':12}}, upsert=True),
    UpdateOne({'LastName': '松田'},{'$set':{'age':23}}, upsert=True),
    UpdateOne({'LastName': '加藤'},{'$set':{'age':33}}, upsert=True),
    UpdateOne({'LastName': '伊藤'},{'$set':{'age':43}}, upsert=True)
]

try:
    db1.member.bulk_write(requests)                   # 順次処理
    # db.member.bulk_write(requests, ordered=False)   # 並列処理
except BulkWriteError as bwe:
    pprint(bwe.details)

# 入れ替え内容の確認
docs = db1.member.find()
for doc in docs:
    print(doc)

Pythonでupsert処理を行う場合は、UpdateOneを使ってupsert=Trueオプションを追加します。


次回は、一括削除処理(remove)を行います。

MongoDB(34) - 一括処理（Bulk）③一括入れ替え
3分 read (About 503 words)

MongoDB(34) - 一括処理（Bulk）③一括入れ替え

今回は、一括入れ替え処理を行います。

一括入れ替え

順次処理で一括入れ替えを行います。

（並列処理で実行したい場合は、initializeOrderedBulkOp()の代わりにinitializeUnorderedBulkOp()を使います。）

処理の詳細は以下の通りです。

  1. Bulk実行タイプを設定。（1行目）
  2. replaceクエリーを設定。（3～5行目）
  3. 一括実行(Bulk実行)。（7行目）

[Mongoシェル]

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
> var bulk = db.member.initializeOrderedBulkOp()

> bulk.find({name:"武元"}).replaceOne({LastName:"武元", FirstName:"ゆい"})
> bulk.find({name:"松田"}).replaceOne({LastName:"松田", FirstName:"りな"})
> bulk.find({name:"加藤"}).replaceOne({LastName:"加藤", FirstName:"しほ"})

> bulk.execute()
BulkWriteResult({
        "writeErrors" : [ ],
        "writeConcernErrors" : [ ],
        "nInserted" : 0,
        "nUpserted" : 0,
        "nMatched" : 3,
        "nModified" : 3,
        "nRemoved" : 0,
        "upserted" : [ ]
})
> db.member.find()
{ "_id" : ObjectId("613e8e9a0fb0f3e6cf9e2b87"), "LastName" : "武元", "FirstName" : "ゆい" }
{ "_id" : ObjectId("613e8e9a0fb0f3e6cf9e2b88"), "LastName" : "松田", "FirstName" : "りな" }
{ "_id" : ObjectId("613e8e9a0fb0f3e6cf9e2b89"), "LastName" : "加藤", "FirstName" : "しほ" }

問題なく３つのドキュメントの入れ替えを行うことができました。

Pythonで操作

上記の処理をPythonで行うと、次のようになります。

[ソースコード]

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
import pymongo
from pymongo import MongoClient
from pymongo import ReplaceOne
from pymongo.errors import BulkWriteError

# MongoDB操作用のインスタンスを作成
client = MongoClient()  # [IPとポートを指定する場合] MongoClient('10.200.243.203', 27017')

# データベースの取得
db1 = client.db1

# 一括入れ替え
requests = [
    ReplaceOne({'name': '武元'},{'LastName':'武元', 'FirstName':'ゆい'}),
    ReplaceOne({'name': '松田'},{'LastName':'松田', 'FirstName':'りな'}),
    ReplaceOne({'name': '加藤'},{'LastName':'加藤', 'FirstName':'しほ'})
]

try:
    db1.member.bulk_write(requests)                   # 順次処理
    # db.member.bulk_write(requests, ordered=False)   # 並列処理
except BulkWriteError as bwe:
    pprint(bwe.details)

# 入れ替え内容の確認
docs = db1.member.find()
for doc in docs:
    print(doc)

ReplaceOneの第１引数には検索条件を指定し、第２引数には入れ替えるドキュメントの内容を設定します。

次回は、一括登録／一括更新処理(upsert)を行います。

MongoDB(33) - 一括処理（Bulk）②一括更新
3分 read (About 422 words)

MongoDB(33) - 一括処理（Bulk）②一括更新

今回は、一括更新(Bulk)に関する操作を行います。

一括更新

順次処理で一括更新を行います。

（並列処理で実行したい場合は、initializeOrderedBulkOp()の代わりにinitializeUnorderedBulkOp()を使います。）

処理の詳細は以下の通りです。

  1. Bulk実行タイプを設定。（1行目）
  2. updateクエリーを設定。（3～5行目）
  3. 一括実行(Bulk実行)。（7行目）

[Mongoシェル]

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
> var bulk = db.member.initializeOrderedBulkOp()    //順次処理

> bulk.find({name:'武元'}).updateOne({$set:{age:11}})
> bulk.find({name:'松田'}).updateOne({$set:{age:21}})
> bulk.find({name:'加藤'}).updateOne({$set:{age:31}})

> bulk.execute()
BulkWriteResult({
        "writeErrors" : [ ],
        "writeConcernErrors" : [ ],
        "nInserted" : 0,
        "nUpserted" : 0,
        "nMatched" : 3,
        "nModified" : 3,
        "nRemoved" : 0,
        "upserted" : [ ]
})

> db.member.find()
{ "_id" : ObjectId("613e8c820fb0f3e6cf9e2b81"), "name" : "武元", "age" : 11 }
{ "_id" : ObjectId("613e8c820fb0f3e6cf9e2b82"), "name" : "松田", "age" : 21 }
{ "_id" : ObjectId("613e8c820fb0f3e6cf9e2b83"), "name" : "加藤", "age" : 31 }

問題なく３つのドキュメントの年齢(age)を更新することができました。

Pythonで操作

上記の処理をPythonで行うと、次のようになります。

[ソースコード]

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
import pymongo
from pymongo import MongoClient
from pymongo import UpdateOne
from pymongo.errors import BulkWriteError

# MongoDB操作用のインスタンスを作成
client = MongoClient()  # [IPとポートを指定する場合] MongoClient('10.200.243.203', 27017')

# データベースの取得
db1 = client.db1

# 一括更新
requests = [
    UpdateOne({'name':'武元'}, {'$set':{'age':11}}),
    UpdateOne({'name':'松田'}, {'$set':{'age':21}}),
    UpdateOne({'name':'加藤'}, {'$set':{'age':31}})
]

try:
    db1.member.bulk_write(requests)                   # 順次処理
    # db.member.bulk_write(requests, ordered=False)   # 並列処理
except BulkWriteError as bwe:
    pprint(bwe.details)

# 更新内容の確認
docs = db1.member.find()
for doc in docs:
    print(doc)

次回は、一括入れ替え処理を行います。

MongoDB(32) - 一括処理（Bulk）①一括登録
4分 read (About 619 words)

MongoDB(32) - 一括処理（Bulk）①一括登録

今回から、一括処理(Bulk)に関する操作を行っていきます。

一括処理(Bulk)とは

大量にinsertやupdateを行う場合、一括処理(Bulk)を使うとまとめて処理を行うことができるため速く実行することができます

一括処理(Bulk)には、下記の２種類があります。

  1. 順次処理
    登録の順番に意味がある場合に使用します。
    前の処理が終わってから次の処理を行うため、2.並列処理よりも処理は遅くなります、
  2. 並列処理
    順番に関係なく処理を行います。
    そのため1.順次処理よりも速く処理が終了します。

一括登録

順次処理で一括登録を行います。

（並列処理で実行したい場合は、initializeOrderedBulkOp()ではなくinitializeUnorderedBulkOp()を使います。）

処理の詳細は以下の通りです。

  1. Bulk実行タイプを設定。（1行目）
  2. insertクエリーを設定。（3～5行目）
  3. 一括実行(Bulk実行)。（7行目）

[Mongoシェル]

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
> var bulk = db.member.initializeOrderedBulkOp()  //順次処理

> bulk.insert({name:"武元", age:10})
> bulk.insert({name:"松田", age:20})
> bulk.insert({name:"加藤", age:30})

> bulk.execute()
BulkWriteResult({
        "writeErrors" : [ ],
        "writeConcernErrors" : [ ],
        "nInserted" : 3,
        "nUpserted" : 0,
        "nMatched" : 0,
        "nModified" : 0,
        "nRemoved" : 0,
        "upserted" : [ ]
})

> db.member.find()
{ "_id" : ObjectId("613e728c0fb0f3e6cf9e2b7e"), "name" : "武元", "age" : 10 }
{ "_id" : ObjectId("613e728c0fb0f3e6cf9e2b7f"), "name" : "松田", "age" : 20 }
{ "_id" : ObjectId("613e728c0fb0f3e6cf9e2b80"), "name" : "加藤", "age" : 30 }

問題なく３つのドキュメントを追加することができました。

Pythonで操作

上記の処理をPythonで行うと、次のようになります。

3～4行目に新たにimport文を追加していますのでご注意下さい。

[ソースコード]

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
import pymongo
from pymongo import MongoClient
from pymongo import InsertOne
from pymongo.errors import BulkWriteError

# MongoDB操作用のインスタンスを作成
client = MongoClient()  # [IPとポートを指定する場合] MongoClient('10.200.243.203', 27017')

# データベースの取得
db1 = client.db1

# 一括更新
requests = [
    InsertOne({'name':'武元', 'age':10}),
    InsertOne({'name':'松田', 'age':20}),
    InsertOne({'name':'加藤', 'age':30})
]

try:
    db1.member.bulk_write(requests)                    # 順次処理
    # db.member.bulk_write(requests, ordered=False)   # 並列処理
except BulkWriteError as bwe:
    pprint(bwe.details)

# 登録内容の確認
docs = db1.member.find()
for doc in docs:
    print(doc)

次回は、一括更新処理を行います。

MongoDB(31) - 集計処理（aggregate）⑫集計結果のソート／表示件数制限／取得開始位置の指定
5分 read (About 735 words)

MongoDB(31) - 集計処理（aggregate）⑫集計結果のソート／表示件数制限／取得開始位置の指定

今回は、集計結果のソート／表示件数制限／取得開始位置の指定を行います。

サンプルデータ

以前用意した会社の部、課、従業員データを使用します。

集計処理（aggregate）①データ準備 - https://ailog.site/2021/09/02/2021/0902/

集計結果のソート

集計結果をソートしてみます。

集計結果のソートには$sortを使います。

[Mongoシェル]

1
2
3
4
5
6
7
8
> db.employee.aggregate([
     {$group:{_id:"$k_id", max_salary:{$max: "$salary"}}},
     {$sort:{max_salary:1}}  // 1:昇順  -1:降順
 ])
{ "_id" : "ka4", "max_salary" : 120000 }
{ "_id" : "ka2", "max_salary" : 250000 }
{ "_id" : "ka1", "max_salary" : 400000 }
{ "_id" : "ka3", "max_salary" : 550000 }

課ごとの最大給料に関して、昇順でソートすることができました。

集計結果の表示件数制限

集計結果の表示件数を制限します。

集計結果の表示件数制限には$limitを使います。

[Mongoシェル]

1
2
3
4
5
6
> db.employee.aggregate([
     {$group:{_id:"$k_id", max_salary:{$max: "$salary"}}},
     {$sort:{max_salary:1}},
     {$limit: 1}
 ])
{ "_id" : "ka4", "max_salary" : 120000 }

課ごとの最大給料に関して、表示件数を１件に制限することができました。

集計結果の取得開始位置の指定

集計結果の取得開始位置を指定します。

集計結果の表示開始位置を指定するためには$skipを使用します。

[Mongoシェル]

1
2
3
4
5
6
7
8
> db.employee.aggregate([
      {$group:{_id:"$k_id", max_salary:{$max: "$salary"}}},
      {$sort:{max_salary:1}},
      {$skip: 1}
  ])
{ "_id" : "ka2", "max_salary" : 250000 }
{ "_id" : "ka1", "max_salary" : 400000 }
{ "_id" : "ka3", "max_salary" : 550000 }

課ごとの最大給料に関して、表示開始位置を２つめからとすることができました。

$skipに指定するインデックスは0から始まりますので、1を指定した場合は２つめの集計結果から表示されることになります。


$sort、$limit、$skip は組み合わせて実行することが可能ですが、上から順番に実行されるので順番には気を付ける必要があります。

Pythonで操作

上記の集計処理をPythonで行うと、次のようになります。

[ソースコード]

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
import pymongo
from pymongo import MongoClient

# MongoDB操作用のインスタンスを作成
client = MongoClient()  # [IPとポートを指定する場合] MongoClient('10.200.243.203', 27017')

# データベースの取得
db1 = client.db1

# 集計結果のソート
docs = db1.employee.aggregate([
             {'$group':{'_id':'$k_id', 'max_salary':{'$max': '$salary'}}},
             {'$sort':{'max_salary':1}}  # 1:昇順  -1:降順
            ])
for doc in docs:
    print(doc)

# 集計結果の表示件数制限
docs = db1.employee.aggregate([
             {'$group':{'_id':'$k_id', 'max_salary':{'$max': '$salary'}}},
             {'$sort':{'max_salary':1}},
             {'$limit': 1}
           ])
for doc in docs:
    print(doc)


# 集計結果の取得開始位置の指定
docs = db1.employee.aggregate([
              {'$group':{'_id':'$k_id', 'max_salary':{'$max': '$salary'}}},
              {'$sort':{'max_salary':1}},
              {'$skip': 1}
           ])
for doc in docs:
    print(doc)

次回からは、一括高速処理(Bulk)を行います。

MongoDB(30) - 集計処理（aggregate）⑪複数コレクションの結合
8分 read (About 1198 words)

MongoDB(30) - 集計処理（aggregate）⑪複数コレクションの結合

今回は、複数コレクションの結合を行います。

サンプルデータ

以前用意した会社の部、課、従業員データを使用します。

集計処理（aggregate）①データ準備 - https://ailog.site/2021/09/02/2021/0902/

複数コレクションの結合

１つのコレクションから複数のコレクションを同時に結合します。

コレクションの結合方法は下記の通りです。

  • 従業員コレクション(employee)と課コレクション(division)を結合
    結合キーは課ID(k_id)
  • 従業員コレクション(employeeと役職コレクション(position)を結合
    結合キーは役職ID(p_id)

[Mongoシェル]

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
> db.employee.aggregate([
      {$lookup:{
          from: "division",
          localField: "k_id",
          foreignField: "k_id",
          as: "division_docs"
      }},
      {$lookup:{
          from: "position",
          localField: "p_id",
          foreignField: "p_id",
          as: "position_docs"
      }}
  ])
{ "_id" : ObjectId("612f07f568110fe533ed9d21"), "e_id" : "emp001", "k_id" : "ka1", "p_id" : "po1", "name" : "高山", "age" : 31, "salary" : 400000, "division_docs" : [ { "_id" : ObjectId("612f07b568110fe533ed9d19"), "k_id" : "ka1", "b_id" : "bu1", "name" : "総務課" } ], "position_docs" : [ { "_id" : ObjectId("612f07d768110fe533ed9d1d"), "p_id" : "po1", "name" : "社長" } ] }
{ "_id" : ObjectId("612f07f568110fe533ed9d22"), "e_id" : "emp002", "k_id" : "ka2", "p_id" : "po2", "name" : "生駒", "age" : 37, "salary" : 250000, "division_docs" : [ { "_id" : ObjectId("612f07b568110fe533ed9d1a"), "k_id" : "ka2", "b_id" : "bu2", "name" : "企画課" } ], "position_docs" : [ { "_id" : ObjectId("612f07d768110fe533ed9d1e"), "p_id" : "po2", "name" : "部長" } ] }
{ "_id" : ObjectId("612f07f568110fe533ed9d23"), "e_id" : "emp003", "k_id" : "ka3", "p_id" : "po3", "name" : "嘉喜", "age" : 23, "salary" : 200000, "division_docs" : [ { "_id" : ObjectId("612f07b568110fe533ed9d1b"), "k_id" : "ka3", "b_id" : "bu3", "name" : "開発1課" } ], "position_docs" : [ { "_id" : ObjectId("612f07d768110fe533ed9d1f"), "p_id" : "po3", "name" : "課長" } ] }
{ "_id" : ObjectId("612f07f568110fe533ed9d24"), "e_id" : "emp004", "k_id" : "ka4", "p_id" : "po4", "name" : "与田", "age" : 33, "salary" : 100000, "division_docs" : [ { "_id" : ObjectId("612f07b568110fe533ed9d1c"), "k_id" : "ka4", "b_id" : "bu3", "name" : "開発2課" } ], "position_docs" : [ { "_id" : ObjectId("612f07d768110fe533ed9d20"), "p_id" : "po4", "name" : "一般社員" } ] }
{ "_id" : ObjectId("612f07f568110fe533ed9d25"), "e_id" : "emp005", "k_id" : "ka3", "p_id" : "po4", "name" : "松田", "age" : 35, "salary" : 550000, "division_docs" : [ { "_id" : ObjectId("612f07b568110fe533ed9d1b"), "k_id" : "ka3", "b_id" : "bu3", "name" : "開発1課" } ], "position_docs" : [ { "_id" : ObjectId("612f07d768110fe533ed9d20"), "p_id" : "po4", "name" : "一般社員" } ] }
{ "_id" : ObjectId("612f07f568110fe533ed9d26"), "e_id" : "emp006", "k_id" : "ka4", "p_id" : "po4", "name" : "菅井", "age" : 45, "salary" : 120000, "division_docs" : [ { "_id" : ObjectId("612f07b568110fe533ed9d1c"), "k_id" : "ka4", "b_id" : "bu3", "name" : "開発2課" } ], "position_docs" : [ { "_id" : ObjectId("612f07d768110fe533ed9d20"), "p_id" : "po4", "name" : "一般社員" } ] }

従業員コレクションから、課コレクションと役職コレクションを結合することができました。

表示フィールドの絞り込み

複数コレクションの結合を行った結果に対して、$projectを使って表示フィールドを絞り込みます。

オブジェクトID(_id)を非表示にし、従業員ID(e_id)・従業員名・課の名称・役職名を表示します。

また同時にunwindを使い、配列をオブジェクト型に展開します。

[Mongoシェル]

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
> db.employee.aggregate([
      {$lookup:{
          from: "division",
          localField: "k_id",
          foreignField: "k_id",
          as: "division_docs"
      }},
      {$lookup:{
          from: "position",
          localField: "p_id",
          foreignField: "p_id",
          as: "position_docs"
      }},
      {$project:{
         "_id": 0,
         "e_id": 1,
         "name": 1,
         "division_docs.name": 1,
         "position_docs.name": 1
      }},
      {$unwind: "$division_docs"},   // 課コレクションの展開
      {$unwind: "$position_docs"}    // 役職コレクションの展開
  ])
{ "e_id" : "emp001", "name" : "高山", "division_docs" : { "name" : "総務課" }, "position_docs" : { "name" : "社長" } }
{ "e_id" : "emp002", "name" : "生駒", "division_docs" : { "name" : "企画課" }, "position_docs" : { "name" : "部長" } }
{ "e_id" : "emp003", "name" : "嘉喜", "division_docs" : { "name" : "開発1課" }, "position_docs" : { "name" : "課長" } }
{ "e_id" : "emp004", "name" : "与田", "division_docs" : { "name" : "開発2課" }, "position_docs" : { "name" : "一般社員" } }
{ "e_id" : "emp005", "name" : "松田", "division_docs" : { "name" : "開発1課" }, "position_docs" : { "name" : "一般社員" } }
{ "e_id" : "emp006", "name" : "菅井", "division_docs" : { "name" : "開発2課" }, "position_docs" : { "name" : "一般社員" } }

コレクションを結合した結果から、想定通りのフィールドを表示することができました。

Pythonで操作

上記の集計処理をPythonで行うと、次のようになります。

[ソースコード]

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
import pymongo
from pymongo import MongoClient

# MongoDB操作用のインスタンスを作成
client = MongoClient()  # [IPとポートを指定する場合] MongoClient('10.200.243.203', 27017')

# データベースの取得
db1 = client.db1

# 複数コレクションの結合
docs = db1.employee.aggregate([
              {'$lookup':{
                  'from': 'division',
                  'localField': 'k_id',
                  'foreignField': 'k_id',
                  'as': 'division_docs'
              }},
              {'$lookup':{
                  'from': 'position',
                  'localField': 'p_id',
                  'foreignField': 'p_id',
                  'as': 'position_docs'
              }}
            ])
for doc in docs:
    print(doc)

# 表示フィールドの絞り込み
docs = db1.employee.aggregate([
              {'$lookup':{
                  'from': 'division',
                  'localField': 'k_id',
                  'foreignField': 'k_id',
                  'as': 'division_docs'
              }},
              {'$lookup':{
                  'from': 'position',
                  'localField': 'p_id',
                  'foreignField': 'p_id',
                  'as': 'position_docs'
              }},
              {'$project':{
                 '_id': 0,
                 'e_id': 1,
                 'name': 1,
                 'division_docs.name': 1,
                 'position_docs.name': 1
              }},
              {'$unwind': '$division_docs'},   # 課コレクションの展開
              {'$unwind': '$position_docs'}    # 役職コレクションの展開
           ])
for doc in docs:
    print(doc)

次回は、集計結果のソート／表示件数制限／取得開始位置の指定を行います。

MongoDB(29) - 集計処理（aggregate）⑩コレクションの二重結合
8分 read (About 1153 words)

MongoDB(29) - 集計処理（aggregate）⑩コレクションの二重結合

今回は、コレクションの二重結合を行います。

サンプルデータ

以前用意した会社の部、課、従業員データを使用します。

集計処理（aggregate）①データ準備 - https://ailog.site/2021/09/02/2021/0902/

コレクションの二重結合

これまでは$lookupを使い２つのコレクションを結合してきました。

$lookupは１度に複数指定することができ、３つ以上のコレクションを結合することも可能です。

次のように３つのコレクションを結合してみます。

  • 従業員コレクション(employee)と課コレクション(division)を結合
    結合キーは課ID(k_id)
  • 課コレクション(division)と部署コレクション(department)を結合
    結合キーは部ID(b_id)

[Mongoシェル]

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
> db.employee.aggregate([
     {$lookup:{
         from: "division",
         localField: "k_id",
         foreignField: "k_id",
         as: "division_docs"
     }},
     {$lookup:{
         from: "department",
         localField: "division_docs.b_id",
         foreignField: "b_id",
         as: "department_docs"
     }}
 ])
{ "_id" : ObjectId("612f07f568110fe533ed9d21"), "e_id" : "emp001", "k_id" : "ka1", "p_id" : "po1", "name" : "高山", "age" : 31, "salary" : 400000, "division_docs" : [ { "_id" : ObjectId("612f07b568110fe533ed9d19"), "k_id" : "ka1", "b_id" : "bu1", "name" : "総務課" } ], "department_docs" : [ { "_id" : ObjectId("612f075468110fe533ed9d16"), "b_id" : "bu1", "name" : "総務部" } ] }
{ "_id" : ObjectId("612f07f568110fe533ed9d22"), "e_id" : "emp002", "k_id" : "ka2", "p_id" : "po2", "name" : "生駒", "age" : 37, "salary" : 250000, "division_docs" : [ { "_id" : ObjectId("612f07b568110fe533ed9d1a"), "k_id" : "ka2", "b_id" : "bu2", "name" : "企画課" } ], "department_docs" : [ { "_id" : ObjectId("612f075468110fe533ed9d17"), "b_id" : "bu2", "name" : "企画部" } ] }
{ "_id" : ObjectId("612f07f568110fe533ed9d23"), "e_id" : "emp003", "k_id" : "ka3", "p_id" : "po3", "name" : "嘉喜", "age" : 23, "salary" : 200000, "division_docs" : [ { "_id" : ObjectId("612f07b568110fe533ed9d1b"), "k_id" : "ka3", "b_id" : "bu3", "name" : "開発1課" } ], "department_docs" : [ { "_id" : ObjectId("612f075468110fe533ed9d18"), "b_id" : "bu3", "name" : "開発部" } ] }
{ "_id" : ObjectId("612f07f568110fe533ed9d24"), "e_id" : "emp004", "k_id" : "ka4", "p_id" : "po4", "name" : "与田", "age" : 33, "salary" : 100000, "division_docs" : [ { "_id" : ObjectId("612f07b568110fe533ed9d1c"), "k_id" : "ka4", "b_id" : "bu3", "name" : "開発2課" } ], "department_docs" : [ { "_id" : ObjectId("612f075468110fe533ed9d18"), "b_id" : "bu3", "name" : "開発部" } ] }
{ "_id" : ObjectId("612f07f568110fe533ed9d25"), "e_id" : "emp005", "k_id" : "ka3", "p_id" : "po4", "name" : "松田", "age" : 35, "salary" : 550000, "division_docs" : [ { "_id" : ObjectId("612f07b568110fe533ed9d1b"), "k_id" : "ka3", "b_id" : "bu3", "name" : "開発1課" } ], "department_docs" : [ { "_id" : ObjectId("612f075468110fe533ed9d18"), "b_id" : "bu3", "name" : "開発部" } ] }
{ "_id" : ObjectId("612f07f568110fe533ed9d26"), "e_id" : "emp006", "k_id" : "ka4", "p_id" : "po4", "name" : "菅井", "age" : 45, "salary" : 120000, "division_docs" : [ { "_id" : ObjectId("612f07b568110fe533ed9d1c"), "k_id" : "ka4", "b_id" : "bu3", "name" : "開発2課" } ], "department_docs" : [ { "_id" : ObjectId("612f075468110fe533ed9d18"), "b_id" : "bu3", "name" : "開発部" } ] }

３つのコレクションを結合してデータを取得することができました。

表示フィールドの絞り込み

コレクションを二重結合して取得したドキュメントに対して、$projectを使って表示フィールドを絞り込みます。

また同時にunwindを使い、配列をオブジェクト型に展開します。

[Mongoシェル]

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
> db.employee.aggregate([
     {$lookup:{
         from: "division",
         localField: "k_id",
         foreignField: "k_id",
         as: "division_docs"
     }},
     {$lookup:{
         from: "department",
         localField: "division_docs.b_id",
         foreignField: "b_id",
         as: "department_docs"
     }},
     {$project: {
         "_id":0,
         "e_id":1,
         "name":1,
         "department_docs.name": 1,
         "division_docs.name": 1
     }},
     {$unwind: "$department_docs"},  // 部署コレクションの展開
     {$unwind: "$division_docs"}     // 課コレクションの展開
 ])
{ "e_id" : "emp001", "name" : "高山", "division_docs" : { "name" : "総務課" }, "department_docs" : { "name" : "総務部" } }
{ "e_id" : "emp002", "name" : "生駒", "division_docs" : { "name" : "企画課" }, "department_docs" : { "name" : "企画部" } }
{ "e_id" : "emp003", "name" : "嘉喜", "division_docs" : { "name" : "開発1課" }, "department_docs" : { "name" : "開発部" } }
{ "e_id" : "emp004", "name" : "与田", "division_docs" : { "name" : "開発2課" }, "department_docs" : { "name" : "開発部" } }
{ "e_id" : "emp005", "name" : "松田", "division_docs" : { "name" : "開発1課" }, "department_docs" : { "name" : "開発部" } }
{ "e_id" : "emp006", "name" : "菅井", "division_docs" : { "name" : "開発2課" }, "department_docs" : { "name" : "開発部" } }

すっきりとした表示結果にすることができました。

Pythonで操作

上記の集計処理をPythonで行うと、次のようになります。

[ソースコード]

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
import pymongo
from pymongo import MongoClient

# MongoDB操作用のインスタンスを作成
client = MongoClient()  # [IPとポートを指定する場合] MongoClient('10.200.243.203', 27017')

# データベースの取得
db1 = client.db1

# コレクションの結合（オブジェクト型に展開）
docs = db1.employee.aggregate([
             {'$lookup':{
                 'from': 'division',
                 'localField': 'k_id',
                 'foreignField': 'k_id',
                 'as': 'division_docs'
             }},
             {'$lookup':{
                 'from': 'department',
                 'localField': 'division_docs.b_id',
                 'foreignField': 'b_id',
                 'as': 'department_docs'
             }}
            ])
for doc in docs:
    print(doc)

# コレクションの結合（文字列型に展開）
docs = db1.employee.aggregate([
             {'$lookup':{
                 'from': 'division',
                 'localField': 'k_id',
                 'foreignField': 'k_id',
                 'as': 'division_docs'
             }},
             {'$lookup':{
                 'from': 'department',
                 'localField': 'division_docs.b_id',
                 'foreignField': 'b_id',
                 'as': 'department_docs'
             }},
             {'$project': {
                 '_id':0,
                 'e_id':1,
                 'name':1,
                 'department_docs.name': 1,
                 'division_docs.name': 1
             }},
             {'$unwind': '$department_docs'},
             {'$unwind': '$division_docs'}
           ])
for doc in docs:
    print(doc)

次回は、複数コレクションの結合を行います。

最近の記事

アーカイブ


タグ

ACKTR 16
AlphaZero 16
Amazon 1
AnyTrading 207
BeautifulSoup 3
BitSend 1
Bitcoin 1
Bokeh 1
Bootstrap 1
CSV 1
Chrome 1
Chromeリモートデスクトップ 1
Chrome拡張 1
Colaboratory 1
ETL 1
Ethereum 59
Excel 2
FX 2
Firefox Send 1
Flask 1
GEM 1
GVGAI GYM 1
GigaFile便 1
Gym Retro 3
GymFC 1
GymGo 1
IME 2
Image 1
IoT 13
Kaggle 63
Keras 1
Kindle 1
LightGBM 6
Logger 1
Matplotlib 1
Mist Wallet 2
MistWallet 11
MongoDB 38
NEO 4
Neural Network 6
Numpy 7
Obstacle Tower 1
OpenAI Gym 56
OpenCV 4
Optuna 1
OrderedDict 1
PPO(PPO2) 2
PPO2 1
Pandas 4
Parallel Game Engine 1
PoW 1
PyAutoGUI 1
PyBullet 2
PyTorch 9
Python 520
RPA 26
RandomForest 16
ReportLab 1
ResNet 1
Selenium 1
Sikuli 38
SikuliX 1
Solidity 4
Stable Baselines 3
Stable Baselines Zoo 41
TensorBoard 3
TensorFlow 8
Tensorflow 1
Tex 1
Twitter 1
USB PD 1
Ubuntu 2
Unity ML-Agents 5
WSL 4
WatchDog 2
Win10 2
Windows 4
XML 1
Yahoo 1
atari 2
chainer 13
chainer-gogh 1
csv 2
dircmp 1
epub 1
fabric 1
firestorage 1
geth 19
gym-city 1
gym-donkeycar 1
gym-duckietown 1
gym-gazebo 1
gym-maze 1
gym-minigrid 2
gym-miniworld 1
json 1
matplotlib 7
matplotlib basemap 1
numpy 7
osim-rl 1
pandas 1
paramiko 2
pdfminer3k 1
pynput 2
pyocr 1
scikit-learn 6
scp 1
sklearn 1
solidity 34
twitter 1
wordpress 1
yaml 2
インターネット 1
イーサリアム 37
エクスプローラ 1
オープンソース 6
カスタムGym 26
クラスタリング 1
クロスバリデーション 1
サトシナカモト 1
ショートカット 2
ショートカットキー 3
スクレイピング 1
スマートコントラクト 46
ソフトフォーク 1
デジタル化 1
ネットプリント 1
ハッシュパワー 1
ハッシュレート 1
ハッシュ値 1
ハードフォーク 1
パソコン高速化 3
ビットコイン 12
ファイル転送サービス 1
フリー素材 1
ブルームフィルタ 1
ブロックチェーン 44
マイニング 1
ミラーリング 1
メディア寿命 1
ロック解除 1
分類 1
動画 1
回帰 1
完全無料RPA 22
定額動画配信 1
強化学習 26
採掘難易度 1
文字種判定 1
日本語入力 1
機械学習 3
比較 1
無料 1
無料サイト 1
無料ツール 8
画像取得 1
見逃し配信 1
語学学習 1
運用管理ツール 2
電子署名 1
音楽素材 1
Your browser is out-of-date!

Update your browser to view this website correctly. Update my browser now

×