PythonCGI – 基本

2023-03-30 / tau / コメントする

概要

PythonのコードでCGI(Common Gateway Interface)によってHTMLをする方法の基本。

基本の枠組み

コード例

例えば以下の内容をindex.pyとして準備。

SheBangでPythonの場所を指定
Content-Typeを出力して1行空ける
出力内容を記述

#!/usr/bin/python3.6

print('Content-Type: text/html')
print('')
print('Python CGI Test')

#!/usr/bin/python3.6

print('Content-Type: text/html')

print('')

print('Python CGI Test')

HTTPのヘッダーで最低限Content-Typeを出力し、ボディーとの間に空行が1行必要。これがないと、500エラーとなり、ログには以下の様に記録される。

[cgi:error] [pid 30090] [client 192.168.33.1:65449] malformed header from script 'index.py': Bad header: Python CGI Test

1	[cgi:error] [pid 30090] [client 192.168.33.1:65449] malformed header from script 'index.py': Bad header: Python CGI Test

コードのモード確認

ファイルがrootの実行権限を持っていること。実行権限がない場合はchmod 755かchmod +xで設定する。

コードの配置

cgi実行用のディレクトリーにファイルを配置。Apacheの場合例えば/var/www/cgi-binなど。

ブラウザ表示

URLで[ホスト]/cgi-bin/index.pyを指定すると、ブラウザーにPython CGI Testと表示される。

HTML出力例

ASCII出力

基本の枠組みの出力に、以下の様にタグを加えると要素として表示される。

#!/usr/bin/python3.6

print('Content-Type: text/html')
print('')
print('<h1>Python CGI Test</h1>')
print('<p>Python CGI Test</p>')

#!/usr/bin/python3.6

print('Content-Type: text/html')

print('')

print('<h1>Python CGI Test</h1>')

print('<p>Python CGI Test</p>')

UTF-8出力

上のコードの一部を日本語にしてみる。

#!/usr/bin/python3.6

print('Content-Type: text/html')
print('')
print('<h1>Python CGI test</h1>')
print('<p>Python CGI テスト</p>')

#!/usr/bin/python3.6

print('Content-Type: text/html')

print('')

print('<h1>Python CGI test</h1>')

print('<p>Python CGI テスト</p>')

ところがこれをブラウザーで確認すると、h1要素は表示されるがp要素が全く表示されない。ソースを確認してもh1要素の行が表示されるだけ（このコードをコンソールで実行すると、h1要素の行もp要素の行も表示される）。

これを解決するには、ソースコードでio.TextIOWrapperを実行するとよいらしい。

#!/usr/bin/python3.6

import sys, io

sys.stdout = io.TextIOWrapper(sys.stdout.buffer, encoding='utf-8')

print('Content-Type: text/html')
print('')
print('<h1>Python CGI test</h1>')
print('<p>Python CGI テスト</p>')

#!/usr/bin/python3.6

import sys, io

sys.stdout = io.TextIOWrapper(sys.stdout.buffer, encoding='utf-8')

print('Content-Type: text/html')

print('')

print('<h1>Python CGI test</h1>')

print('<p>Python CGI テスト</p>')

上記の2行を追加すると、無事日本語まで表示された。

HTML出力

コンテンツを以下の様にHTMLの構造にして出力する。title要素も機能して、タブの表示が変更された。

#!/usr/bin/python3.6

import sys, io

sys.stdout = io.TextIOWrapper(sys.stdout.buffer, encoding='utf-8')

html = '''
<html>
    <head>
        <title>Python CGI</title>
    </head>
    <body>
        <h1>Python CGI test</h1>
        <p>Python CGI HTMLテスト</p>
    </body>
</html>
'''

print('Content-Type: text/html')
print('')
print(html)

#!/usr/bin/python3.6

import sys, io

sys.stdout = io.TextIOWrapper(sys.stdout.buffer, encoding='utf-8')

html = '''

<html>

<head>

<title>Python CGI</title>

</head>

<body>

<h1>Python CGI test</h1>

<p>Python CGI HTMLテスト</p>

</body>

</html>

'''

print('Content-Type: text/html')

print('')

print(html)

ループの利用例

以下のコードでは、見栄えは良くないがforループでli要素を生成している。

#!/usr/bin/python3.6

import sys, io

sys.stdout = io.TextIOWrapper(sys.stdout.buffer, encoding='utf-8')

html_head = '''
<head>
    <title>Python CGI</title>
</head>
'''

html_body = '''
<h1>Python CGI test</h1>
<p>Python CGI HTMLテスト</p>
'''

print('Content-Type: text/html')
print('')
print('<html>')
print(html_head)
print('<body>')
print(html_body)
print('<ol>')
for i in range(5):
    print('<li>{}番目のli要素</li>'.format(i + 1))
print('</ol>')
print('</body')
print('</html>')

#!/usr/bin/python3.6

import sys, io

sys.stdout = io.TextIOWrapper(sys.stdout.buffer, encoding='utf-8')

html_head = '''

<head>

<title>Python CGI</title>

</head>

'''

html_body = '''

<h1>Python CGI test</h1>

<p>Python CGI HTMLテスト</p>

'''

print('Content-Type: text/html')

print('')

print('<html>')

print(html_head)

print('<body>')

print(html_body)

print('<ol>')

for i in range(5):

print('<li>{}番目のli要素</li>'.format(i + 1))

print('</ol>')

print('</body')

print('</html>')

出力に以下が加わる。

1番目のli要素
2番目のli要素
3番目のli要素
4番目のli要素
5番目のli要素

Apacheの設定

今回は/etc/httpd/conf/httpd.confのデフォルトのままでcgi-scriptの設定を加えていないが、そのままで適切に実行された。

2次元リストの結合

2023-01-28 / tau / コメントする

概要

2次元リスト同士の結合について整理。

縦方向の結合
- appendはループが必要
- extendは破壊的に結合
- ＋演算子は非破壊的に結合
横方向の結合
- extendでループが必要
- ＋演算子はループの方法に注意

縦方向の結合

appendは要注意

1次元のリストの場合と同じく、appendは引数全体を要素として追加してしまう。

a = [
    [1, 2],
    [3, 4]
]

b = [
    [5, 6],
    [7, 8]
]

a.append(b)

print(a)
print(b)

# [[1, 2], [3, 4], [[5, 6], [7, 8]]]
# [[5, 6], [7, 8]]

a = [

[1, 2],

[3, 4]

]

b = [

[5, 6],

[7, 8]

]

a.append(b)

print(a)

print(b)

# [[1, 2], [3, 4], [[5, 6], [7, 8]]]

# [[5, 6], [7, 8]]

追加されるリストの各行を取り出して追加すれば可能。ただし破壊的。

for r in b:
    a.append(r)

print(a)
print(b)

# [[1, 2], [3, 4], [5, 6], [7, 8]]
# [[5, 6], [7, 8]]

for r in b:

a.append(r)

print(a)

print(b)

# [[1, 2], [3, 4], [5, 6], [7, 8]]

# [[5, 6], [7, 8]]

extendはok（破壊的）

extendは引数のリストの内容をそのまま追加してくれる。ただし破壊的。

a = [
    [1, 2],
    [3, 4]
]

b = [
    [5, 6],
    [7, 8]
]

a.extend(b)

print(a)
print(b)

# [[1, 2], [3, 4], [5, 6], [7, 8]]
# [[5, 6], [7, 8]]

a = [

[1, 2],

[3, 4]

]

b = [

[5, 6],

[7, 8]

]

a.extend(b)

print(a)

print(b)

# [[1, 2], [3, 4], [5, 6], [7, 8]]

# [[5, 6], [7, 8]]

＋演算子もok（非破壊的）

＋演算子もextendと同じ挙動だが非破壊的。

a = [
    [1, 2],
    [3, 4]
]

b = [
    [5, 6],
    [7, 8]
]

c = a + b

print(a)
print(b)
print(c)

# [[1, 2], [3, 4]]
# [[5, 6], [7, 8]]
# [[1, 2], [3, 4], [5, 6], [7, 8]]

a = [

[1, 2],

[3, 4]

]

b = [

[5, 6],

[7, 8]

]

c = a + b

print(a)

print(b)

print(c)

# [[1, 2], [3, 4]]

# [[5, 6], [7, 8]]

# [[1, 2], [3, 4], [5, 6], [7, 8]]

横方向の結合

extendで一手間必要

extendで各要素に追加する場合、各要素をループで取出して追加する必要がある。

a = [
    [1, 2],
    [3, 4]
]

b = [
    [5, 6],
    [7, 8]
]

for i in range(len(a)):
    a[i].extend(b[i])

print(a)
print(b)

# [[1, 2, 5, 6], [3, 4, 7, 8]]
# [[5, 6], [7, 8]]

a = [

[1, 2],

[3, 4]

]

b = [

[5, 6],

[7, 8]

]

for i in range(len(a)):

a[i].extend(b[i])

print(a)

print(b)

# [[1, 2, 5, 6], [3, 4, 7, 8]]

# [[5, 6], [7, 8]]

カウンターではなく要素を直接取り出してもok。

for ra, rb in zip(a, b):
    ra.extend(rb)

print(a)
print(b)

# [[1, 2], [3, 4]]
# [[5, 6], [7, 8]]

for ra, rb in zip(a, b):

ra.extend(rb)

print(a)

print(b)

# [[1, 2], [3, 4]]

# [[5, 6], [7, 8]]

＋演算子は要注意

＋演算子で結合する場合は、結果のリストを準備しておく必要がある。このとき、結合するリストと同じ要素数（行数）の空のリストを要素に持つリストを準備しておく必要がある。

また、ループはカウンターを使って添字でリスト要素を指定しなければならない。

a = [
    [1, 2],
    [3, 4]
]

b = [
    [5, 6],
    [7, 8]
]

c = [[]] * 2

for i in range(len(a)):
    c[i] = a[i] + b[i]

print(a)
print(b)
print(c)

# [[1, 2], [3, 4]]
# [[5, 6], [7, 8]]
# [[1, 2, 5, 6], [3, 4, 7, 8]]

a = [

[1, 2],

[3, 4]

]

b = [

[5, 6],

[7, 8]

]

c = [[]] * 2

for i in range(len(a)):

c[i] = a[i] + b[i]

print(a)

print(b)

print(c)

# [[1, 2], [3, 4]]

# [[5, 6], [7, 8]]

# [[1, 2, 5, 6], [3, 4, 7, 8]]

要素を直接取り出して演算した場合、変数が新たに作成されるがその結果は元のリストには反映されないので注意。

c = [[]] * 2

for ra, rb, rc in zip(a, b, c):
    rc = ra + rb

print(a)
print(b)
print(c)

# [[1, 2], [3, 4]]
# [[5, 6], [7, 8]]
# [[], []]

c = [[]] * 2

for ra, rb, rc in zip(a, b, c):

rc = ra + rb

print(a)

print(b)

print(c)

# [[1, 2], [3, 4]]

# [[5, 6], [7, 8]]

# [[], []]

リストの追加・結合

2023-01-28 / tau / コメントする

概要

リストに対する要素の追加、リストの結合について整理。

リストへの1つの要素の追加
- appendが簡明、ただし破壊的
- extendも使えるがリストとして追加、破壊的
- ＋演算子もリストとして追加、非破壊的
リスト同士の結合
- appendは使えない
- extendは破壊的にリストを追加
- ＋演算子は非破壊的にリストを追加

リストへの要素の追加

appendは破壊的

appendで1つの要素をリストに追加できる。appendは破壊的で元のリストを改変する。戻り値はNone。

x = a.append(4)

print(a)
print(x)

# [1, 2, 3, 4]
# None

x = a.append(4)

print(a)

print(x)

# [1, 2, 3, 4]

# None

appendは1つの引数しか持てない（append(4, 5)とはできない）。

extendはリストを追加（破壊的）

extendでも要素を追加できるが、要素そのものではなく、追加したい要素を含むリストとして追加する。extendは破壊的で元のリストを改変する。戻り値はNone。

a = [1, 2, 3]

x = a.extend([4])

print(a)
print(x)

# [1, 2, 3, 4]
# None

a = [1, 2, 3]

x = a.extend([4])

print(a)

print(x)

# [1, 2, 3, 4]

# None

＋演算子もリストの演算（非破壊的）

＋演算子もextendと同じくリストを追加する。extendと違って非破壊的で、元のリストは改変されず、結果は戻り値で返される。

a = [1, 2, 3]

x = a + [4]

print(a)
print(x)

# [1, 2, 3]
# [1, 2, 3, 4]

a = [1, 2, 3]

x = a + [4]

print(a)

print(x)

# [1, 2, 3]

# [1, 2, 3, 4]

リストの結合

appendは使えない

appendは引数をリストの要素として追加するので、リストを引数に与えるとそのリストが要素として追加されてしまう。

a = [1, 2, 3]
b = [4, 5, 6]

c = a.append(b)

print(a)
print(b)
print(c)

# [1, 2, 3, [4, 5, 6]]
# [4, 5, 6]
# None

a = [1, 2, 3]

b = [4, 5, 6]

c = a.append(b)

print(a)

print(b)

print(c)

# [1, 2, 3, [4, 5, 6]]

# [4, 5, 6]

# None

extendはOk（破壊的）

extendは引数に与えたリストで元のリストを拡張する。ただし破壊的で元のリストが改変される。

a = [1, 2, 3]
b = [4, 5, 6]

c = a.extend(b)

print(a)
print(b)
print(c)

# [1, 2, 3, 4, 5, 6]
# [4, 5, 6]
# None

a = [1, 2, 3]

b = [4, 5, 6]

c = a.extend(b)

print(a)

print(b)

print(c)

# [1, 2, 3, 4, 5, 6]

# [4, 5, 6]

# None

＋演算子もOk（非破壊的）

＋演算子もextendと同じくリストを拡張するが非破壊的。拡張と言うよりも、くっつける／追加するというイメージ。

a = [1, 2, 3]
b = [4, 5, 6]

c = a + b

print(a)
print(b)
print(c)

# [1, 2, 3]
# [4, 5, 6]
# [1, 2, 3, 4, 5, 6]

a = [1, 2, 3]

b = [4, 5, 6]

c = a + b

print(a)

print(b)

print(c)

# [1, 2, 3]

# [4, 5, 6]

# [1, 2, 3, 4, 5, 6]

JS/ES – Promise

2022-12-30 / tau / コメントする

非同期実行の簡単な例

以下の例では2つのブロックが非同期に実行され、コードが書かれた順番ではなく実行時間の短い順に出力される。

setTimeout(() => {
  console.log('Long execution');
}, 300);

setTimeout(() => {
  console.log('Short execution');
}, 100);

// 100ms execution
// 300ms execution

setTimeout(() => {

console.log('Long execution');

}, 300);

setTimeout(() => {

console.log('Short execution');

}, 100);

// 100ms execution

// 300ms execution

Promiseによる実行順序の保証

基本形

Promiseオブジェクト.then()

この基本形では、以下の手順で処理間を同期させる。

Promiseオブジェクト生成
- 生成時の引数で渡す無名関数に先行処理を記述
- 無名関数の引数で処理終了を発行する関数(resolve)を受け取り
- 先行処理終了のところでresolve関数を実行
Promiseオブジェクトのthenメソッドを記述
- thenメソッドの引数で渡す無名処理に後続処理を記述
- この後続処理は、先行処理のresolve関数が実行された後に実行される

p = new Promise(resolve => {
  先行処理
　resolve();
});

p.then(() => {
  後続処理
});

p = new Promise(resolve => {

先行処理

　resolve();

});

p.then(() => {

後続処理

});

処理完了のための関数名は任意だが、staticメソッドと同じ関数名のresolveが使われる。

以下の例では、Promise・・・・・・・・・・・・・無名関数の引数をresolveとして受け取り、resolve関数を300ms待機後の表示の後に実行している。

そしてその実行後に100ms待機の処理が実行される。

let p = new Promise(resolve => {
  setTimeout(() => {
    console.log('300ms execution');
    resolve();
  }, 300);
});

p.then(() => {
  setTimeout(() => {
    console.log('100ms execution');
  }, 100);
});

// 300ms execution
// 100ms execution

let p = new Promise(resolve => {

setTimeout(() => {

console.log('300ms execution');

resolve();

}, 300);

});

p.then(() => {

setTimeout(() => {

console.log('100ms execution');

}, 100);

});

// 300ms execution

// 100ms execution

Promiseオブジェクトのthenメソッドには引数に無名関数を指定する。Promiseオブジェクトで設定したresolveメソッドが実行された後に引数の無名関数が実行される。

以下の例では、上のPromiseオブジェクトで設定した300ms待機後の表示の後に、thenメソッドで設定した100ms待機・表示が実行される。

// Promise.thenメソッドの無名関数に待機後処理を記述
promise.then(() => {
  setTimeout(() => {
    console.log('100ms execution');
  }, 100);
});

// 300ms execution
// 100ms execution

// Promise.thenメソッドの無名関数に待機後処理を記述

promise.then(() => {

setTimeout(() => {

console.log('100ms execution');

}, 100);

});

// 300ms execution

// 100ms execution

new Promise～then

生成したPromiseオブジェクトから直接thenメソッドを実行してもよい。

new Promise(resolve => {
  setTimeout(() => {
    console.log('300ms execution');
    resolve();
  }, 300);
}).then(() => {
  setTimeout(() => {
    console.log('100ms execution');
  }, 100);
});

// 300ms execution
// 100ms execution

new Promise(resolve => {

setTimeout(() => {

console.log('300ms execution');

resolve();

}, 300);

}).then(() => {

setTimeout(() => {

console.log('100ms execution');

}, 100);

});

// 300ms execution

// 100ms execution

Promiseオブジェクトを返す

優先実行させたい処理をPromiseオブジェクトとして、そのインスタンスを関数の戻り値とする書き方。関数にthenメソッドが適用できる。

// 関数の戻り値をPromiseとする例
function doFirst() {
  // 優先実行させたい関数をPromiseでラップ
  p = new Promise(resolve => {
    setTimeout(() => {
      console.log('300ms execution');
      resolve();
    }, 300);
  });
  // Promiseオブジェクトを返す
  return p;
}

// 戻り値のPromiseオブジェクトに対してthenを実行
doFirst().then(() => {
  setTimeout(() => {
    console.log('100ms executiohn');
  }, 100);
});

// 300ms execution
// 100ms executiohn

// 関数の戻り値をPromiseとする例

function doFirst() {

// 優先実行させたい関数をPromiseでラップ

p = new Promise(resolve => {

setTimeout(() => {

console.log('300ms execution');

resolve();

}, 300);

});

// Promiseオブジェクトを返す

return p;

}

// 戻り値のPromiseオブジェクトに対してthenを実行

doFirst().then(() => {

setTimeout(() => {

console.log('100ms executiohn');

}, 100);

});

// 300ms execution

// 100ms executiohn

resolveで値を渡す

resolve関数に引数を渡し、これをthenメソッドで受け取ることができる。

// resolve実行時に引数を渡す例
const promise = new Promise(resolve => {
  setTimeout(() => {
    console.log('300ms execution');
    // resolve実行時に引数を渡す
    resolve('Resolved!');
  }, 300);
});

// thenの無名関数の引数で3resolveに渡された引数を受け取る
promise.then(parameter => {
  // 受け取った引数を利用
  console.log(parameter);
  setTimeout(() => {
    console.log('100ms execution');
  }, 100);
});

// 300ms execution
// Resolved!
// 100ms execution

// resolve実行時に引数を渡す例

const promise = new Promise(resolve => {

setTimeout(() => {

console.log('300ms execution');

// resolve実行時に引数を渡す

resolve('Resolved!');

}, 300);

});

// thenの無名関数の引数で3resolveに渡された引数を受け取る

promise.then(parameter => {

// 受け取った引数を利用

console.log(parameter);

setTimeout(() => {

console.log('100ms execution');

}, 100);

});

// 300ms execution

// Resolved!

// 100ms execution

thenのチェイン

thenメソッドを連ねてシリアルに実行させる書き方。後続を持つthenメソッドの戻り値をPromiseオブジェクトとするのがミソ。

new Promise(resolve => {
  setTimeout(() => {
    console.log('300ms execution');
    resolve('Promise executed');
  }, 300);
// 1つ目のthen
}).then(() => {
  // thenメソッドでPromiseオブジェクトを返す
  return new Promise(resolve => {
    setTimeout(() => {
      console.log('200ms execution');
      resolve('First then method executed');
    }, 200);
  });
}).then(() => {
  // 最後のthenではPromise~resolveは不要
  setTimeout(() => {
    console.log('100ms execution');
  }, 100);
});

new Promise(resolve => {

setTimeout(() => {

console.log('300ms execution');

resolve('Promise executed');

}, 300);

// 1つ目のthen

}).then(() => {

// thenメソッドでPromiseオブジェクトを返す

return new Promise(resolve => {

setTimeout(() => {

console.log('200ms execution');

resolve('First then method executed');

}, 200);

});

}).then(() => {

// 最後のthenではPromise~resolveは不要

setTimeout(() => {

console.log('100ms execution');

}, 100);

});

reject

Promiseの処理で何らかの問題が生じた場合にrejectすることができる。この場合、resolveが実行されないのでthenは処理されず、直近のcatchが呼ばれる。

以下の例ではPromiseオブジェクトで300msのブロックの最後でrejectが実行され、thenメソッドは実行されずにcatchメソッドが実行される。

// 無名関数の2つ目の引数でreject関数を受け取る
promise = new Promise((resolve, reject) => {
  setTimeout(() => {
    console.log('300ms execution');
    // reject関数を実行
    reject('Rejected!');
  }, 300);
})

// 正常にresolveされた場合
promise.then(() => {
  setTimeout(() => {
    console.log('100ms execution');
  }, 100);
// rejectされた場合
}).catch(err => console.log(err));

// 300ms execution
// Rejected!

// 無名関数の2つ目の引数でreject関数を受け取る

promise = new Promise((resolve, reject) => {

setTimeout(() => {

console.log('300ms execution');

// reject関数を実行

reject('Rejected!');

}, 300);

})

// 正常にresolveされた場合

promise.then(() => {

setTimeout(() => {

console.log('100ms execution');

}, 100);

// rejectされた場合

}).catch(err => console.log(err));

// 300ms execution

// Rejected!

Promise.all～全ての実行を待機

const promise1 = new Promise((resolve, reject) => {
  setTimeout(() => {
    console.log('Took 100ms');
    resolve('value 1');
  }, 100);
});

const promise2 = new Promise((resolve, reject) => {
  setTimeout(() => {
    console.log('Took 200ms');
    resolve('value 3');
  }, 200);
});

const promise3 = new Promise((resolve, reject) => {
  setTimeout(() => {
    console.log('Took 300ms');
    resolve('value 2');
  }, 300);
});

// 3つのPromiseオブジェクトの実行を待ってからthenを実行。
Promise.all([promise1, promise2, promise3]).then((values) => {
  console.log('All completed.');
  // resolveに渡された引数は配列として渡される。
  console.log(values);
});

// Took 100ms
// Took 200ms
// Took 300ms
// All completed.
// Array(3)
// 0: "value 1"
// 1: "value 3"
// 2: "value 2"
// length: 3

const promise1 = new Promise((resolve, reject) => {

setTimeout(() => {

console.log('Took 100ms');

resolve('value 1');

}, 100);

});

const promise2 = new Promise((resolve, reject) => {

setTimeout(() => {

console.log('Took 200ms');

resolve('value 3');

}, 200);

});

const promise3 = new Promise((resolve, reject) => {

setTimeout(() => {

console.log('Took 300ms');

resolve('value 2');

}, 300);

});

// 3つのPromiseオブジェクトの実行を待ってからthenを実行。

Promise.all([promise1, promise2, promise3]).then((values) => {

console.log('All completed.');

// resolveに渡された引数は配列として渡される。

console.log(values);

});

// Took 100ms

// Took 200ms

// Took 300ms

// All completed.

// Array(3)

// 0: "value 1"

// 1: "value 3"

// 2: "value 2"

// length: 3

MapLibre – GeoJSONのソースを描画する

2022-08-25 / tau / コメントする

基本形

Mapオブジェクトのonメソッドで、マップのロード後処理として記述する
MapオブジェクトのaddSourceメソッドで図形を定義し、addLayerメソッドでレンダリング方法などを記述する
addLayerでソースIDを指定する

let map = new maplibregl.Map({...});

map.on('load', {
  map.addSource('ソースID', {
    type: 'geojson',
    data: {
      ここで図形（群）を定義
    }
  });

  map.addLayer({
    'id': 'レイヤーID',
    'type': '描画タイプ',
    'source': 'ソースID',
    'layout': {レイアウト},
    '図形タイプ': {
  });
});

let map = new maplibregl.Map({...});

map.on('load', {

map.addSource('ソースID', {

type: 'geojson',

data: {

ここで図形（群）を定義

}

});

map.addLayer({

'id': 'レイヤーID',

'type': '描画タイプ',

'source': 'ソースID',

'layout': {レイアウト},

'図形タイプ': {

});

addSource

第1引数でソースIDを設定し、第2引数に図形のGeoJSONを記述する

addLayer

詳細はMapLibreのLayerのドキュメントを参照。

id：一意なレイヤーID
type：形状タイプ
- 'fill', 'line', 'symbol', 'circle', 'heatmap', 'fill-extrusion', 'raster', 'hillshade', 'background'
- 形状タイプごとの描画仕様は、その内容によってlayoutかpaintで指定する
source：このレイヤーに描かれるソースのIDを指定
layout：形状タイプごとの描画スタイルを設定
- たとえば'line'の場合、'line-width', 'line-cap', 'line-join'など
paint：図形を描く色などを指定
- たとえば'circle'の場合、'circle-color', 'circle-radius'など

図形の描画例

Python3 – WebAPI

2022-07-29 / tau / コメントする

概要

PythonでWebAPIによってデータをリクエストして取得する方法をまとめる。ここでは郵便番号配信サービスのzipcloudのAPIを利用する。

流れは以下の通り。

準備
1. urllib.requestライブラリーのインポート
2. APIエンドポイントURLのセット
3. パラメーターのセット
4. パラメーターのエンコード
リクエストとレスポンス
1. Requestオブジェクトの生成
2. リクエスト実行とResponseオブジェクトの取得
レスポンスオブジェクトのデコード

API仕様

zipcloudサイトの郵便番号検索APIの内容をまとめると以下の通り。

リクエストURL：https://zipcloud.ibsnet.co.jp/api/search
リクエストパラメーター
- zipcode～必須～郵便番号（ハイフンなし7桁の数字）
- callback～オプション～JSONPとして出力する際のコールバック関数名
- limit～オプション～同一の郵便番号で複数のデータが存在する場合に返される上限件数（デフォルト20）
- urlパターンの例：https://zipcloud.ibsnet.co.jp/api/search?zipcode=1330051

コード

最初に実行コードの全体を示す。

################################################
# ライブラリーのインポート

# JSON 操作用のライブラリー
import json
# HTTPリクエスト用のライブラリー
import urllib.request

################################################
# 変数の設定

# APIエンドポイント
# この例では郵便番号データ配信サービスのAPIエンドポイント
url = 'https://zipcloud.ibsnet.co.jp/api/search'

# APIに渡すパラメーター
# この例ではハイフンなしの郵便番号文字列
params = {
    'zipcode': '1330051'
}

# パラメーターをstringからbyte列にエンコード
# この例ではZIPcodeは半角数字なのでstf-8のほかascii, shift_jisでもok
encoded_params = urllib.parse.urlencode(params).encode('utf-8')

################################################
# リクエストとレスポンスの取得

# エンドポイントとパラメーターを指定してRequestオブジェクトを生成
request = urllib.request.Request(url, data=encoded_params)
# リクエストの結果からResponeseオブジェクトを取得
response = urllib.request.urlopen(request)

print('-------- Reponseオブジェクトの内容 --------')
print(response)

# Responseオブジェクトの文字列をUTF-8でデコード
jsontext = response.read().decode('utf-8')

print('-------- レスポンスをUTF-8でデコードした文字列 --------')
print(jsontext)

print('-------- レスポンスの文字列をJSONとして辞書に展開 --------')
decoded_json = json.loads(jsontext)
print(decoded_json)
print('-------- レスポンスの結果部分のみを取り出す --------')
result_json = decoded_json['results'][0]
print(result_json)
print('-------- 結果部分のJSONを整形 --------')
formatted_json = json.dumps(result_json, indent=4)
print(formatted_json)
print('-------- JSONの整形表示にあたってエスケープを抑制')
json_utf8 = json.dumps(result_json, ensure_ascii=False, indent=4)
print(json_utf8)

################################################

# ライブラリーのインポート

# JSON 操作用のライブラリー

import json

# HTTPリクエスト用のライブラリー

import urllib.request

################################################

# 変数の設定

# APIエンドポイント

# この例では郵便番号データ配信サービスのAPIエンドポイント

url = 'https://zipcloud.ibsnet.co.jp/api/search'

# APIに渡すパラメーター

# この例ではハイフンなしの郵便番号文字列

params = {

'zipcode': '1330051'

}

# パラメーターをstringからbyte列にエンコード

# この例ではZIPcodeは半角数字なのでstf-8のほかascii, shift_jisでもok

encoded_params = urllib.parse.urlencode(params).encode('utf-8')

################################################

# リクエストとレスポンスの取得

# エンドポイントとパラメーターを指定してRequestオブジェクトを生成

request = urllib.request.Request(url, data=encoded_params)

# リクエストの結果からResponeseオブジェクトを取得

response = urllib.request.urlopen(request)

print('-------- Reponseオブジェクトの内容 --------')

print(response)

# Responseオブジェクトの文字列をUTF-8でデコード

jsontext = response.read().decode('utf-8')

print('-------- レスポンスをUTF-8でデコードした文字列 --------')

print(jsontext)

print('-------- レスポンスの文字列をJSONとして辞書に展開 --------')

decoded_json = json.loads(jsontext)

print(decoded_json)

print('-------- レスポンスの結果部分のみを取り出す --------')

result_json = decoded_json['results'][0]

print(result_json)

print('-------- 結果部分のJSONを整形 --------')

formatted_json = json.dumps(result_json, indent=4)

print(formatted_json)

print('-------- JSONの整形表示にあたってエスケープを抑制')

json_utf8 = json.dumps(result_json, ensure_ascii=False, indent=4)

print(json_utf8)

コード説明

準備

urllib.requestライブラリーのインポート

HTTPリクエストに必要なurllib.requestライブラリーをインポートする。

# HTTPリクエスト用のライブラリー
import urllib.request

1 2	# HTTPリクエスト用のライブラリー import urllib.request

APIエンドポイントURLのセット

ここではzipcloudのAPIエンドポイントのURLを変数urlにセットする。

# APIエンドポイント
# この例では郵便番号データ配信サービスのAPIエンドポイント
url = 'https://zipcloud.ibsnet.co.jp/api/search'

# APIエンドポイント

# この例では郵便番号データ配信サービスのAPIエンドポイント

url = 'https://zipcloud.ibsnet.co.jp/api/search'

リクエストパラメーターのセット

リクエストパラメーターを辞書でセット。ここでは仕様に従ってzipcodeに'1130051'を与えている。

# APIに渡すパラメーター
# この例ではハイフンなしの郵便番号文字列
params = {
    'zipcode': '1330051'
}

# APIに渡すパラメーター

# この例ではハイフンなしの郵便番号文字列

params = {

'zipcode': '1330051'

}

パラメーターのエンコード

リクエストに備えて、パラメーター文字列をバイト列にエンコード。ここでは一般的なutf-8を指定しているが、郵便番号は半角数字なのでasciiやshift_jisでも同じ結果となる。その形式は

urllib.parse.urlencode(パラメーター辞書).encode('文字コード')

# パラメーターをstringからbyte列にエンコード
# この例ではZIPcodeは半角数字なのでstf-8のほかascii, shift_jisでもok
encoded_params = urllib.parse.urlencode(params).encode('utf-8')

# パラメーターをstringからbyte列にエンコード

# この例ではZIPcodeは半角数字なのでstf-8のほかascii, shift_jisでもok

encoded_params = urllib.parse.urlencode(params).encode('utf-8')

リクエストとレスポンス

Requestオブジェクトの生成

ベースのURLとエンコードされたパラメーターを与えてRequestオブジェクトを生成する。

urllib.request.Request(URL文字列, data=エンコード後のパラメーター)

# エンドポイントとパラメーターを指定してRequestオブジェクトを生成
request = urllib.request.Request(url, data=encoded_params)

1 2	# エンドポイントとパラメーターを指定してRequestオブジェクトを生成 request = urllib.request.Request(url, data=encoded_params)

リクエスト実行とResponseオブジェクト取得

リクエストはRequestオブジェクトを引数としてurlopenメソッドを実行。戻り値は結果のResponseオブジェクト。

# リクエストの結果からResponseオブジェクトを取得
response = urllib.request.urlopen(request)

1 2	# リクエストの結果からResponseオブジェクトを取得 response = urllib.request.urlopen(request)

Responseオブジェクトのデコード

取得したままのResponseオブジェクトをそのまま表示しても、クラスの文字列表現となるだけ。

# Responseオブジェクト
print(response)

# <http.client.HTTPResponse object at 0x7fb6598afeb8>

# Responseオブジェクト

print(response)

# <http.client.HTTPResponse object at 0x7fb6598afeb8>

そこで、文字コードを指定してデコードしてやる。ここではutf-8を指定している。

response.read().decode(文字コード)

結果は文字コードで指定されたエンコード方式でデコードされ、レスポンスの文字列が得られる。

zipcloudのレスポンスはJSON形式でインデント整形された文字列となるが、あくまで文字列であり、要素を指定した値の取出しはできない。

# Responseオブジェクトの文字列をUTF-8でデコード
jsontext = response.read().decode('utf-8')

print('-------- レスポンスをUTF-8でデコードした文字列 --------')
print(jsontext)

# {
#         "message": null,
#         "results": [
#                 {
#                         "address1": "東京都",
#                         "address2": "江戸川区",
#                         "address3": "北小岩",
#                         "kana1": "ﾄｳｷｮｳﾄ",
#                         "kana2": "ｴﾄﾞｶﾞﾜｸ",
#                         "kana3": "ｷﾀｺｲﾜ",
#                         "prefcode": "13",
#                         "zipcode": "1330051"
#                 }
#         ],
#         "status": 200
# }

# Responseオブジェクトの文字列をUTF-8でデコード

jsontext = response.read().decode('utf-8')

print('-------- レスポンスをUTF-8でデコードした文字列 --------')

print(jsontext)

# {

# "message": null,

# "results": [

# {

# "address1": "東京都",

# "address2": "江戸川区",

# "address3": "北小岩",

# "kana1": "ﾄｳｷｮｳﾄ",

# "kana2": "ｴﾄﾞｶﾞﾜｸ",

# "kana3": "ｷﾀｺｲﾜ",

# "prefcode": "13",

# "zipcode": "1330051"

# }

# ],

# "status": 200

# }

JSON文字列の取り扱い

準備

JSON形式の文字列を辞書として読み込んだり、整形表示をしてみる（PythonでのJSONの取り扱い）。

まず、JSONを扱うにはjsonライブラリーが必要。

import json

1	import json

辞書への展開

JSON形式の文字列をPythonの辞書として取り込む。

json.loads(JSON形式の文字列)

decoded_json = json.loads(jsontext)
print(decoded_json) 

# {'message': None, 'results': [{'address1': '東京都', 'address2': '江戸川区',
#  'address3': '北小岩', 'kana1': 'ﾄｳｷｮｳﾄ', 'kana2': 'ｴﾄﾞｶﾞﾜｸ', 'kana3': 'ｷﾀｺｲﾜ',
#  'prefcode': '13', 'zipcode': '1330051'}], 'status': 200}

decoded_json = json.loads(jsontext)

print(decoded_json)

# {'message': None, 'results': [{'address1': '東京都', 'address2': '江戸川区',

# 'address3': '北小岩', 'kana1': 'ﾄｳｷｮｳﾄ', 'kana2': 'ｴﾄﾞｶﾞﾜｸ', 'kana3': 'ｷﾀｺｲﾜ',

# 'prefcode': '13', 'zipcode': '1330051'}], 'status': 200}

レスポンス内容の取出し

これはzipcloudの仕様になるが、レスポンスのJSONデータのレスポンス部分は入れ子の内側（'response'キーに対応）にあるので、これを取り出す。

同じ郵便番号に複数の住所が存在する場合もあるが、ここでは最初の1つだけ取り出している。

result_json = decoded_json['results'][0]
print(result_json)

# {'address1': '東京都', 'address2': '江戸川区', 'address3': '北小岩', 'kana1': 'ﾄｳｷｮｳﾄ',
#  'kana2': 'ｴﾄﾞｶﾞﾜｸ', 'kana3': 'ｷﾀｺｲﾜ', 'prefcode': '13', 'zipcode': '1330051'}

result_json = decoded_json['results'][0]

print(result_json)

# {'address1': '東京都', 'address2': '江戸川区', 'address3': '北小岩', 'kana1': 'ﾄｳｷｮｳﾄ',

# 'kana2': 'ｴﾄﾞｶﾞﾜｸ', 'kana3': 'ｷﾀｺｲﾜ', 'prefcode': '13', 'zipcode': '1330051'}

JSON形式での整形出力

辞書の内容を再度整形して文字列化する。

json.dumps(辞書, indent=桁数)

ただし、このままではマルチバイト文字が16進にエスケープされてしまう。

formatted_json = json.dumps(result_json, indent=4)
print(formatted_json)

# {
#     "address1": "\u6771\u4eac\u90fd",
#     "address2": "\u6c5f\u6238\u5ddd\u533a",
#     "address3": "\u5317\u5c0f\u5ca9",
#     "kana1": "\uff84\uff73\uff77\uff6e\uff73\uff84",
#     "kana2": "\uff74\uff84\uff9e\uff76\uff9e\uff9c\uff78",
#     "kana3": "\uff77\uff80\uff7a\uff72\uff9c",
#     "prefcode": "13",
#     "zipcode": "1330051"
# }

formatted_json = json.dumps(result_json, indent=4)

print(formatted_json)

# {

# "address1": "\u6771\u4eac\u90fd",

# "address2": "\u6c5f\u6238\u5ddd\u533a",

# "address3": "\u5317\u5c0f\u5ca9",

# "kana1": "\uff84\uff73\uff77\uff6e\uff73\uff84",

# "kana2": "\uff74\uff84\uff9e\uff76\uff9e\uff9c\uff78",

# "kana3": "\uff77\uff80\uff7a\uff72\uff9c",

# "prefcode": "13",

# "zipcode": "1330051"

# }

エスケープの抑制

json.dumpsでエスケープを抑制することで、もとの文字コードに基づいて処理される。エスケープを抑制するためには引数でensure_ascii=Falseをセットする。

json_utf8 = json.dumps(result_json, ensure_ascii=False, indent=4)
print(json_utf8)

# {
#     "address1": "東京都",
#     "address2": "江戸川区",
#     "address3": "北小岩",
#     "kana1": "ﾄｳｷｮｳﾄ",
#     "kana2": "ｴﾄﾞｶﾞﾜｸ",
#     "kana3": "ｷﾀｺｲﾜ",
#     "prefcode": "13",
#     "zipcode": "1330051"
# }

json_utf8 = json.dumps(result_json, ensure_ascii=False, indent=4)

print(json_utf8)

# {

# "address1": "東京都",

# "address2": "江戸川区",

# "address3": "北小岩",

# "kana1": "ﾄｳｷｮｳﾄ",

# "kana2": "ｴﾄﾞｶﾞﾜｸ",

# "kana3": "ｷﾀｺｲﾜ",

# "prefcode": "13",

# "zipcode": "1330051"

# }

Python3 – cURL

2022-06-26 / tau / コメントする

基本形～GET

Python3で指定したURLのサイトからレスポンスを得る手順は以下のとおり。

urllib.request.urlopenで接続のオブジェクトを得る
接続オブジェクトに対してreadメソッドを実行する

ただし結果はバイト列で得られる。

urlopenの引数にURLを指定

以下はurlopenの引数にURLを指定した手順。

urlopenの戻り値(Responseオブジェクト)を変数responseに保存
responseのreadメソッドメソッドでレスポンスの内容を取得

レスポンスの内容はバイト列で返される。

import urllib.request

# URLのセット
url = 'http://www.httpbin.org'

# 指定したURLで接続
with urllib.request.urlopen(url) as response:
    # レスポンスを取得
    html = response.read()

# レスポンスの内容を表示
print(html)

# b'<!DOCTYPE html>\n<html lang="en">\n\n<head>\n    <meta charset="UTF-8">\n ....

import urllib.request

# URLのセット

url = 'http://www.httpbin.org'

# 指定したURLで接続

with urllib.request.urlopen(url) as response:

# レスポンスを取得

html = response.read()

# レスポンスの内容を表示

print(html)

# b'<!DOCTYPE html>\n<html lang="en">\n\n<head>\n <meta charset="UTF-8">\n ....

文字列でレスポンスを得るには、decodeメソッドでバイト列を文字列にデコードする。

import urllib.request

url = 'http://www.httpbin.org'

with urllib.request.urlopen(url) as response:
    html = response.read().decode('utf-8')

print(html)

# <!DOCTYPE html>
# <html lang="en">
# 
# <head>
#     <meta charset="UTF-8">
#     <title>httpbin.org</title>
# ....

import urllib.request

url = 'http://www.httpbin.org'

with urllib.request.urlopen(url) as response:

html = response.read().decode('utf-8')

print(html)

# <!DOCTYPE html>

# <html lang="en">

# <head>

# <meta charset="UTF-8">

# <title>httpbin.org</title>

# ....

urlopenの引数にRequestオブジェクトを指定

まずURLを指定してurllib.request.Requestオブジェクトを生成し、これをurlopenの引数として接続を開く。

import urllib.request

# URLをセット
url = 'http://www.httpbin.org'

# URLを指定してRequestオブジェクトを生成
request = urllib.request.Request(url)

# Requestオブジェクトを指定して接続
with urllib.request.urlopen(request) as response:
    # レスポンスの内容を取得し、UTF-8でデコード
    html = response.read().decode('utf-8')

# レスポンスの内容を表示
print(html)

# <!DOCTYPE html>
# <html lang="en">
# 
# <head>
#     <meta charset="UTF-8">
#     <title>httpbin.org</title>
# ....

import urllib.request

# URLをセット

url = 'http://www.httpbin.org'

# URLを指定してRequestオブジェクトを生成

request = urllib.request.Request(url)

# Requestオブジェクトを指定して接続

with urllib.request.urlopen(request) as response:

# レスポンスの内容を取得し、UTF-8でデコード

html = response.read().decode('utf-8')

# レスポンスの内容を表示

print(html)

# <!DOCTYPE html>

# <html lang="en">

# <head>

# <meta charset="UTF-8">

# <title>httpbin.org</title>

# ....

POST

ポストの流れは以下のとおり。

urllib.requestとurllib.parseをインポートする
urlopenの引数にRequestオブジェクトを渡す
Requestオブジェクト生成時にdata引数を指定するとPOSTメソッドになる（method='POST'がなくてもよい）
dataへ渡す引数は、以下のように処理
- 元のパラメータ群を辞書で準備
- そのデータをurllib.parse.urlencodeでエンコード（utf-8のエンコードも加える）

以下はhttpbin.orgを利用して確認した例。httpbin.org/postからのレスポンスがJSON形式なので、jsonライブラリーをインポートしてレスポンスを整形している。

import json
import urllib.parse
import urllib.request

# URLを設定
url = 'http://www.httpbin.org/post'

# POSTで送るパラメーターを設定
parameters = {
    'name': 'tau',
    'site': 'taustation.com',
}

# 辞書で設定したパラメーターをパース・エンコード
parsed_data = urllib.parse.urlencode(parameters).encode('utf-8')

# data引数にパラメーターを指定してRequestオブジェクトを生成
request = urllib.request.Request(url, data=parsed_data)

# Requestオブジェクトをurlopenに渡して接続
with urllib.request.urlopen(request) as response:
    # レスポンスをUTF-8でデコードして取得
    jsontext = response.read().decode('utf-8')

# httpbin.org/postのレスポンスはJSONなので整形して表示
decoded = json.loads(jsontext)
encoded = json.dumps(decoded, ensure_ascii=False, indent=4)
print(encoded)

# {
#     "args": {},
#     "data": "",
#     "files": {},
#     "form": {
#         "name": "tau",
#         "site": "taustation.com"
#     },
#     "headers": {
#         "Accept-Encoding": "identity",
#         "Content-Length": "28",
#         "Content-Type": "application/x-www-form-urlencoded",
#         "Host": "www.httpbin.org",
#         "User-Agent": "Python-urllib/3.6",
#         "X-Amzn-Trace-Id": "Root=1-62b8487d-6f1d1dee5fe6eb1e2e371679"
#     },
#     "json": null,
#     "origin": "106.155.2.90",
#     "url": "http://www.httpbin.org/post"
# }

import json

import urllib.parse

import urllib.request

# URLを設定

url = 'http://www.httpbin.org/post'

# POSTで送るパラメーターを設定

parameters = {

'name': 'tau',

'site': 'taustation.com',

}

# 辞書で設定したパラメーターをパース・エンコード

parsed_data = urllib.parse.urlencode(parameters).encode('utf-8')

# data引数にパラメーターを指定してRequestオブジェクトを生成

request = urllib.request.Request(url, data=parsed_data)

# Requestオブジェクトをurlopenに渡して接続

with urllib.request.urlopen(request) as response:

# レスポンスをUTF-8でデコードして取得

jsontext = response.read().decode('utf-8')

# httpbin.org/postのレスポンスはJSONなので整形して表示

decoded = json.loads(jsontext)

encoded = json.dumps(decoded, ensure_ascii=False, indent=4)

print(encoded)

# {

# "args": {},

# "data": "",

# "files": {},

# "form": {

# "name": "tau",

# "site": "taustation.com"

# },

# "headers": {

# "Accept-Encoding": "identity",

# "Content-Length": "28",

# "Content-Type": "application/x-www-form-urlencoded",

# "Host": "www.httpbin.org",

# "User-Agent": "Python-urllib/3.6",

# "X-Amzn-Trace-Id": "Root=1-62b8487d-6f1d1dee5fe6eb1e2e371679"

# },

# "json": null,

# "origin": "106.155.2.90",

# "url": "http://www.httpbin.org/post"

# }

Python3 – json

2022-06-26 / tau / コメントする

概要

JSONの文字列が与えられたときの扱い。

json.loadsで文字列をPythonの変数に変換（デコード）
json.dumpsでPythonの変数を文字列に変換（エンコード）
- ensure_ascii=Falseでユニコード文字をエスケープさせない
- indent=nでJSONの構造に即した改行・インデントを適用

json.loads

json.loadsメソッドは、JSON文字列をPythonの変数にデコードする。Pythonの辞書になっていることがわかる。

mport json

jsontext = '{ "要素1": "値1", "要素2": { "要素2-1": "値2-1" } }'

decoded = json.loads(jsontext)
print(type(decoded))
print(decoded)

# <class 'dict'>
# {'要素1': '値1', '要素2': {'要素2-1': '値2-1'}}

mport json

jsontext = '{ "要素1": "値1", "要素2": { "要素2-1": "値2-1" } }'

decoded = json.loads(jsontext)

print(type(decoded))

print(decoded)

# <class 'dict'>

# {'要素1': '値1', '要素2': {'要素2-1': '値2-1'}}

JSONのキーと値が辞書のキーと値に対応している。

json.dumps

そのままエンコードした場合

json.dumpsは、辞書に変換されたJSONの内容を文字列にエンコードする。

ただしこのとき、ユニコードはエスケープされ、改行を含まない文字列となる。

mport json

jsontext = '{ "要素1": "値1", "要素2": { "要素2-1": "値2-1" } }'

decoded = json.loads(jsontext)

encoded = json.dumps(decoded)
print(type(encoded))
print(encoded)

# <class 'str'>
# {"\u8981\u7d201": "\u50241", "\u8981\u7d202": {"\u8981\u7d202-1": "\u50242-1"}}

mport json

jsontext = '{ "要素1": "値1", "要素2": { "要素2-1": "値2-1" } }'

decoded = json.loads(jsontext)

encoded = json.dumps(decoded)

print(type(encoded))

print(encoded)

# <class 'str'>

# {"\u8981\u7d201": "\u50241", "\u8981\u7d202": {"\u8981\u7d202-1": "\u50242-1"}}

引数設定によるJSONの構造表現

以下の2つの引数を指定する。

ensure_ascii=False: ユニコードをエスケープせずそのままの表現とする。
indent=n: JSONの構造に即した改行・インデントを適用する。

これによって、ユニコード文字列はエスケープされず、JSONの構造に即した改行・インデントが適用された文字列が得られる。

import json

jsontext = '{ "要素1": "値1", "要素2": { "要素2-1": "値2-1" } }'

decoded = json.loads(jsontext)

encoded = json.dumps(decoded, ensure_ascii=False, indent=4)
print(encoded)

# {
#     "要素1": "値1",
#     "要素2": {
#         "要素2-1": "値2-1"
#     }
# }

import json

jsontext = '{ "要素1": "値1", "要素2": { "要素2-1": "値2-1" } }'

decoded = json.loads(jsontext)

encoded = json.dumps(decoded, ensure_ascii=False, indent=4)

print(encoded)

# {

# "要素1": "値1",

# "要素2": {

# "要素2-1": "値2-1"

# }

PHP – json

2022-06-26 / tau / コメントする

概要

JSONの文字列が与えられたときの扱い。

json_decodeで文字列をPHPの変数に変換
json_encodeでPHPの変数を文字列に変換
- このとき、JSON_UNESCAPED_UNICODEとJSON_PRETTY_PRINTのフラグを立てる

json_decode

json_decode関数は、引数で与えられたJSON文字列をPHPの変数に変換する。

<?php

$jsontext = '{ "要素1": "値1", "要素2": { "要素2-1": "値2-1" } }';
$decoded = json_decode($jsontext);
var_dump($decoded);

// object(stdClass)#1 (2) {
//   ["要素1"]=>
//   string(4) "値1"
//   ["要素2"]=>
//   object(stdClass)#2 (1) {
//     ["要素2-1"]=>
//     string(6) "値2-1"
//   }
// }

<?php

$jsontext = '{ "要素1": "値1", "要素2": { "要素2-1": "値2-1" } }';

$decoded = json_decode($jsontext);

var_dump($decoded);

// object(stdClass)#1 (2) {

// ["要素1"]=>

// string(4) "値1"

// ["要素2"]=>

// object(stdClass)#2 (1) {

// ["要素2-1"]=>

// string(6) "値2-1"

// }

JSONのキーや単体の要素はstringに、{ ... }はstdClassのオブジェクトに変換され、キー=>値がオブジェクトのプロパティーとなっている。

json_encode

そのままエンコードした場合

json_encodeは、PHPの変数で表現されたJSONコードを文字列に変換する。

ただしこのとき、ユニコードはエスケープされ、改行を含まない文字列となる。

<?php

$jsontext = '{ "要素1": "値1", "要素2": { "要素2-1": "値2-1" } }';
$decoded = json_decode($jsontext);
echo json_encode($decoded). PHP_EOL;

// {"\u8981\u7d201":"\u50241","\u8981\u7d202":{"\u8981\u7d202-1":"\u50242-1"}}

<?php

$jsontext = '{ "要素1": "値1", "要素2": { "要素2-1": "値2-1" } }';

$decoded = json_decode($jsontext);

echo json_encode($decoded). PHP_EOL;

// {"\u8981\u7d201":"\u50241","\u8981\u7d202":{"\u8981\u7d202-1":"\u50242-1"}}

オプションフラグの設定

以下の2つのフラグをセットする。

JSON_UNESCAPED_UNICODE: ユニコード文字をエスケープせずに扱う。
JSON_PRETTY_PRINT: JSONの構造に即した改行・インデントを適用する。

これによって、ユニコード文字列はエスケープされず、JSONの構造に即した改行・インデントが適用された文字列が得られる。

<?php

$jsontext = '{ "要素1": "値1", "要素2": { "要素2-1": "値2-1" } }';
$decoded = json_decode($jsontext);
echo json_encode($decoded, JSON_UNESCAPED_UNICODE | JSON_PRETTY_PRINT). PHP_EOL;

# {
#     "要素1": "値1",
#     "要素2": {
#         "要素2-1": "値2-1"
#     }
# }

<?php

$jsontext = '{ "要素1": "値1", "要素2": { "要素2-1": "値2-1" } }';

$decoded = json_decode($jsontext);

echo json_encode($decoded, JSON_UNESCAPED_UNICODE | JSON_PRETTY_PRINT). PHP_EOL;

# {

# "要素1": "値1",

# "要素2": {

# "要素2-1": "値2-1"

# }

Python3 – bytesとString

2022-06-26 / tau / コメントする

概要

Pythonでの文字列表現をバイト列に変換するにはencodeメソッドを用い、バイト列を文字列に変換するにはdecodeメソッドを用いる。encode/decodeの引数には文字コードを指定する。

バイト列をPythonのprint文で出力すると、b'文字列'で表現され、改行文字などはエスケープコード（\nなど）で表示される。

ASCII文字列

encode/decode

ASCII文字列はencode/decodeの引数を'ascii'とする。

# String->bytesへエンコード
s = 'ABC\nDEF'
print(s.encode('ascii'))
# b'ABC\nDEF'

# bytes->Stringへデコード
b = b'ABC\nDEF'
print(b.decode('ascii'))
# ABC
# DEF

# String->bytesへエンコード

s = 'ABC\nDEF'

print(s.encode('ascii'))

# b'ABC\nDEF'

# bytes->Stringへデコード

b = b'ABC\nDEF'

print(b.decode('ascii'))

# ABC

# DEF

ASCIIの場合は引数が'utf-8'や'shift_jis'としても結果は同じ。

16進表現

bytes.hexメソッドの引数にバイト列を与えると、その16進表現の文字列が得られる。

print(bytes.hex(b'ABC\nDEF'))
# 4142430a444546

1 2	print(bytes.hex(b'ABC\nDEF')) # 4142430a444546

UTF-8/Shift_JIS

encode/decode

マルチバイト文字の場合、encodeとdecodeで文字コードを整合させる。

# String->bytesへエンコード
s = 'あい\nうえ'
print(s.encode('utf-8'))
# b'\xe3\x81\x82\xe3\x81\x84\n\xe3\x81\x86\xe3\x81\x88'

# bytes->Stringへデコード
b = b'\xe3\x81\x82\xe3\x81\x84\n\xe3\x81\x86\xe3\x81\x88'
print(b.decode('utf-8'))
# あい
# うえ

# String->bytesへエンコード

s = 'あい\nうえ'

print(s.encode('utf-8'))

# b'\xe3\x81\x82\xe3\x81\x84\n\xe3\x81\x86\xe3\x81\x88'

# bytes->Stringへデコード

b = b'\xe3\x81\x82\xe3\x81\x84\n\xe3\x81\x86\xe3\x81\x88'

print(b.decode('utf-8'))

# あい

# うえ

encodeとdecodeで文字コードが違うと、文字化けするのではなくエラーになる。

b = b'\xe3\x81\x82\xe3\x81\x84\n\xe3\x81\x86\xe3\x81\x88'
print(b.decode('shift_jis'))
# Traceback (most recent call last):
#  File "bytestring.py", line 5, in <module>
#    print(b.decode('shift_jis'))
# UnicodeDecodeError: 'shift_jis' codec can't decode byte 0x86 in position 9: illegal multibyte sequence

b = b'\xe3\x81\x82\xe3\x81\x84\n\xe3\x81\x86\xe3\x81\x88'

print(b.decode('shift_jis'))

# Traceback (most recent call last):

# File "bytestring.py", line 5, in <module>

# print(b.decode('shift_jis'))

# UnicodeDecodeError: 'shift_jis' codec can't decode byte 0x86 in position 9: illegal multibyte sequence

ただしerrors引数の設定をデフォルトの'strict’から変更すると、文字化けした文字列などが返される。

16進表現

マルチバイト文字の16進表現はバイト列の表現のとおりになる。

print(bytes.hex(b'\xe3\x81\x82\xe3\x81\x84\n\xe3\x81\x86\xe3\x81\x88'))
# e38182e381840ae38186e38188

1 2	print(bytes.hex(b'\xe3\x81\x82\xe3\x81\x84\n\xe3\x81\x86\xe3\x81\x88')) # e38182e381840ae38186e38188