import in MongoDB

7a44a85c · Helene Coullon · 898afe12 · 7a44a85c
Commit 7a44a85c authored 3 months ago by Helene Coullon
--- a/tp1-2-3/tp3/tp3.ipynb
+++ b/tp1-2-3/tp3/tp3.ipynb
@@ -473,7 +473,8 @@
   "metadata": {},
   "outputs": [],
   "source": [
-    "result = %sql SELECT ...;"
+    "result = %sql SELECT doc FROM countryinfo;\n",
+    "print(result) # type non exploitable en l'état"
   ]
  },
  {
@@ -482,7 +483,9 @@
   "metadata": {},
   "outputs": [],
   "source": [
-    "df = pd.DataFrame(...)"
+    "df = pd.DataFrame(result)\n",
+    "print(df)\n",
+    "print(df[\"doc\"])"
   ]
  },
  {
@@ -491,7 +494,8 @@
   "metadata": {},
   "outputs": [],
   "source": [
-    "ar_docs = [json.loads(x) for x in ...]\n"
+    "ar_docs = [json.loads(x) for x in df[\"doc\"].to_numpy()]\n",
+    "print(ar_docs)"
   ]
  },
  {
@@ -501,9 +505,10 @@
   "outputs": [],
   "source": [
    "\n",
-    "client = MongoClient(...)\n",
-    "db = client[...]\n",
-    "collection = db[...]"
+    "client = MongoClient(\"mongodb://root:example@mongo:27017/\")\n",
+    "db =client[\"world_x\"]\n",
+    "collection = db[\"doc\"]\n",
+    "print(collection)"
   ]
  },
  {

 %% Cell type:markdown id: tags:

 ## Initialisation

 %% Cell type:code id: tags:

 ``` python
 %load_ext sql
 ```

 %% Cell type:code id: tags:

 ``` python
 %sql mysql+mysqldb://root:root@some-mysql:3306/world_x
 ```

 %% Output


 %% Cell type:code id: tags:

 ``` python
 %config SqlMagic.style = '_DEPRECATED_DEFAULT'
 ```

 %% Cell type:markdown id: tags:

 ## Exploration de la base

 %% Cell type:code id: tags:

 ``` python
 %%sql
 DESCRIBE countryinfo;
 ```

 %% Output



    +--------------+---------------+------+-----+---------+-------------------+
    |    Field     |      Type     | Null | Key | Default |       Extra       |
    +--------------+---------------+------+-----+---------+-------------------+
    |     doc      |      json     | YES  |     |   None  |                   |
    |     _id      | varbinary(32) |  NO  | PRI |   None  |  STORED GENERATED |
    | _json_schema |      json     | YES  |     |   None  | VIRTUAL GENERATED |
    +--------------+---------------+------+-----+---------+-------------------+

 %% Cell type:markdown id: tags:

 Quelques fonctions intéressantes :

 *   `JSON_KEYS(doc)` retourne les propriétés (de premier niveau) de `doc`.
 *   `JSON_KEYS(doc, path)` retourne les propriétés (de premier niveau) du composant de `doc` au bout du chemin `path`.
 *   `JSON_EXTRACT(doc, path)` extrait le composant de `doc` au bout du chemin `path`.
 *   `JSON_PRETTY(doc)` retourne une chaîne de caractères permettant un affichage agréable de `doc`.
 *   `JSON_UNQUOTE(doc)` retourne `doc` sous la forme d'une chaîne de caractères sans guillemets.

 Quel est le type de l'attribut `doc` ?

 %% Cell type:code id: tags:

 ``` python
 %%sql
 DESCRIBE countryinfo;
 ```

 %% Output



    +--------------+---------------+------+-----+---------+-------------------+
    |    Field     |      Type     | Null | Key | Default |       Extra       |
    +--------------+---------------+------+-----+---------+-------------------+
    |     doc      |      json     | YES  |     |   None  |                   |
    |     _id      | varbinary(32) |  NO  | PRI |   None  |  STORED GENERATED |
    | _json_schema |      json     | YES  |     |   None  | VIRTUAL GENERATED |
    +--------------+---------------+------+-----+---------+-------------------+

 %% Cell type:markdown id: tags:

 Quelles sont ses propriétés ?

 %% Cell type:code id: tags:

 ``` python
 %%sql
 ```

 %% Output

    UsageError: %%sql is a cell magic, but the cell body is empty. Did you mean the line magic %sql (single %)?

 %% Cell type:markdown id: tags:

 Quelles sont les propriétés d'une `geography` ?

 %% Cell type:code id: tags:

 ``` python
 %%sql
 ```

 %% Cell type:markdown id: tags:

 Afficher toutes les régions distinctes

 %% Cell type:code id: tags:

 ``` python
 %%sql
 ```

 %% Cell type:markdown id: tags:

 Combien y a-t-il de régions ?

 %% Cell type:code id: tags:

 ``` python
 %%sql
 ```

 %% Cell type:markdown id: tags:

 ## De SQL à JSON

 %% Cell type:markdown id: tags:

 Ecrire, à partir des relations `city` et `country` une requête qui retourne cinq villes et leur pays (sous la forme de simples chaînes de caractères).

 Le résultat est une table (un multi-ensemble de tuples).

 %% Cell type:code id: tags:

 ``` python
 %%sql
 ```

 %% Cell type:markdown id: tags:

 Réécrire la requête afin de retourner des documents JSON.

 Quelques fonctions intéressantes :

 *   `JSON_OBJECT(key, val[, key, val] ...])` retourne un objet JSON défini par les paires `key: val` fournies en paramètre (la notation avec des crochets et les points de suspension indique que les deux paramètres peuvent être répétés).
 *   `JSON_ARRAY(val [, val] ...)` retourne un tableau JSON selon le même principe.

 %% Cell type:code id: tags:

 ``` python
 %%sql
 ```

 %% Cell type:markdown id: tags:

 ## De JSON à SQL (optionnel)

 %% Cell type:markdown id: tags:

 Ecrire une requête qui retourne une table donnant la superficie de chacune des régions répertoriées dans la relation `countryinfo`, classée par superficie croissante.

 Une fonction intéressante :

 * `JSON_TABLE(doc, path COLUMNS (name type PATH path[, name type PATH path] ...)) [AS] alias` retourne à partir du composant de `doc` au bout du chemin `path` une table nommée `alias` dont les colonnes sont spécifiées à l'aide des paramètres de `COLUMNS` (le chemin `path` des colonnes complète le chemin initial).

 Conseil:

 *   faire un produit de `countryinfo` et `JSON_TABLE(doc...)` pour obtenir le document associé à chaque tuple de `countryinfo` ;
 *   commencer par simplement construire une table reprenant les régions et les superficies de chaque tuple/pays.

 %% Cell type:code id: tags:

 ``` python
 %%sql
 ```

 %% Cell type:code id: tags:

 ``` python
 %%sql
 ```

 %% Cell type:markdown id: tags:

 ## MongoDB

 %% Cell type:markdown id: tags:

 En premier, exécutez le tutoriel présent à cette adresse : https://www.mongodb.com/docs/manual/tutorial/getting-started/.
 Ceci vous permettra d'avoir une vue sur les principales commandes de MongoDB :
 - find()
 - delete()
 - insertMany()

 Des liens utiles pour la suite :
 - https://www.mongodb.com/docs/manual/crud/
 - https://pymongo.readthedocs.io/en/stable/api/pymongo/collection.html
 - https://www.mongodb.com/docs/manual/reference/sql-comparison/

 %% Cell type:markdown id: tags:

 ### Insérer World X dans MongoDB

 %% Cell type:markdown id: tags:

 Vous allez copier le contenu de la table `countryinfo` (champ `doc` bien sûr) dans MongoDB à l'aide de la bibliothèque [pymongo](https://pymongo.readthedocs.io/en/stable/).
 Lisez le tutoriel [Pymongo](https://pymongo.readthedocs.io/en/stable/tutorial.html) pour avoir une idée générale du fonctionnement.

 Conseils:

 * utilisez les DataFrame de Pandas
 * utilisez `json.loads` et `to_numpy()` ("Convert the DataFrame to a NumPy array") pour transformer la base en tableau de dictionnaires
 * connectez-vous à la base `mongo` (regardez dans le `docker-compose.yml` comment c'est configuré) créez la base "world_x" et la collection "doc"
 * utilisez `insert_many` de `pymongo`

 %% Cell type:code id: tags:

 ``` python
 from pymongo import MongoClient
 import pandas as pd
 import seaborn as sns
 import json
 ```

 %% Cell type:code id: tags:

 ``` python
-result = %sql SELECT ...;
+result = %sql SELECT doc FROM countryinfo;
+print(result) # type non exploitable en l'état
 ```

 %% Cell type:code id: tags:

 ``` python
-df = pd.DataFrame(...)
+df = pd.DataFrame(result)
+print(df)
+print(df["doc"])
 ```

 %% Cell type:code id: tags:

 ``` python
-ar_docs = [json.loads(x) for x in ...]
+ar_docs = [json.loads(x) for x in df["doc"].to_numpy()]
+print(ar_docs)
 ```

 %% Cell type:code id: tags:

 ``` python

-client = MongoClient(...)
-db = client[...]
-collection = db[...]
+client = MongoClient("mongodb://root:example@mongo:27017/")
+db =client["world_x"]
+collection = db["doc"]
+print(collection)
 ```

 %% Cell type:code id: tags:

 ``` python
 collection.insert_many(ar_docs)
 ```

 %% Cell type:markdown id: tags:

 Verifiez que vous avez toutes les données (239 documents), vous pouvez également le constater à l'aide du plugin.

 %% Cell type:code id: tags:

 ``` python
 ```

 %% Cell type:markdown id: tags:

 ### Requêtes Mongo

 %% Cell type:markdown id: tags:

 Afficher le premier document (élément) de la collection.

 %% Cell type:markdown id: tags:


 %% Cell type:markdown id: tags:

 Récupérez la liste de régions distinctes.

 %% Cell type:code id: tags:

 ``` python
 ```

 %% Cell type:markdown id: tags:

 Vérifiez bien que vous obtenez autant qu'avec MySQL (239 documents).

 %% Cell type:code id: tags:

 ``` python
 ```

 %% Cell type:markdown id: tags:

 Affichez la liste (limitée à 5 résultats) indiquant le nom, l'année d'indépendance et les informations démographiques pour les pays dont l'année d'indépendance est supérieure à 1980.

 Regardez la [fonction `find`](https://www.mongodb.com/docs/manual/tutorial/query-documents/)

 %% Cell type:code id: tags:

 ``` python
 ```

 %% Cell type:markdown id: tags:

 Affichez la liste (limitée à 5 résultats) indiquant le nom, l'année d'indépendance et la population pour les pays dont le nombre d'habitant est supérieure à 3 millions.

 %% Cell type:code id: tags:

 ``` python
 ```

 %% Cell type:markdown id: tags:

 Ecrivez une requête affichant la somme des superficies pour chacune des régions. Pour cela il faut grouper les pays de la même région du monde.

 Regardez du côté de la [commande `aggregate`](https://www.mongodb.com/docs/manual/aggregation/).

 %% Cell type:code id: tags:

 ``` python
 ```

 %% Cell type:markdown id: tags:

 Complétez la requête précédente en classant par superficie croissante.

 %% Cell type:code id: tags:

 ``` python
 ```

 %% Cell type:markdown id: tags:

 Affichez les superficies par région avec Seaborn (utilisez `catplot` en mode `bar`).

 Pour transformer le tableau de résultats en DataFrame, vous pouvez utiliser `pd.json_normalize`.

 %% Cell type:code id: tags:

 ``` python
 ```

 %% Cell type:code id: tags:

 ``` python
 df = pd.json_normalize(...)
 ```

 %% Cell type:code id: tags:

 ``` python
 import seaborn as sns
 sns.catplot(...)
 ```

 %% Cell type:markdown id: tags:

 Testez d'autres requêtes et affichages.

 %% Cell type:code id: tags:

 ``` python
 ```