Python3 – map関数

2016-09-30 / tau / コメントする

基本

コレクションやイテレーターの戻り値に何らかの処理を施したい場合、たとえば内包表記を使うことが課が得られる。

lst = [0, 1, 2, 3, 4]
comprehension = [x * 2 for x in lst]
print(comprehension)

# 0, 2, 4, 6, 8]

lst = [0, 1, 2, 3, 4]

comprehension = [x * 2 for x in lst]

print(comprehension)

# 0, 2, 4, 6, 8]

同様の効果があるmap()関数は、コレクションやイテレーターの戻り値に関数を作用させた結果を返す。第1引数には適用したい関数、第2引数には適用対象となるコレクション等を指定する。

map([関数], [コレクション／リスト])

1	map([関数], [コレクション／リスト])

以下の例は、冒頭に示した内包表記と同じくリストの要素を2倍する。使い方としては、与えられた引数を2倍する関数を準備し、関数を第1引数に、対象となるリストを第2引数に与える。

def double(x):
    return x * 2

for x in map(double, lst):
    print(x, end=" ")
print()
# 0 2 4 6 8

def double(x):

return x * 2

for x in map(double, lst):

print(x, end=" ")

print()

# 0 2 4 6 8

なおmapオブジェクトはイテレーターとして振舞うので、結果をリスト表示するためにはlist()関数を通す必要がある。

print(map(double, lst))
# <map object at 0x03098290>

print(list(map(double, lst)))
# [0, 2, 4, 6, 8]

print(map(double, lst))

# <map object at 0x03098290>

print(list(map(double, lst)))

# [0, 2, 4, 6, 8]

再利用不可

map()関数で得られたオブジェクトを変数にセットして使うこともできる。ただしmapオブジェクトはイテレーターなので1度利用したものをそのまま再度利用することはできない。

mapped = map(double, lst)
for x in mapped:
    print(x, end=" ")
print()
# 0 2 4 6 8

for x in mapped:
    print(x, end=" ")
print()
# nothing displayed

mapped = map(double, lst)

for x in mapped:

print(x, end=" ")

print()

# 0 2 4 6 8

for x in mapped:

print(x, end=" ")

print()

# nothing displayed

イテレーター等の指定

また第2引数にはコレクションではなく、rangeオブジェクトやイテレーターを渡すこともできる。

for x in map(double, range(5)):
    print(x, end=" ")
print()
# 0 2 4 6 8

from itertools import repeat
for x in map(double, repeat(1, 5)):
    print(x, end=" ")
print()
# 2 2 2 2 2

for x in map(double, range(5)):

print(x, end=" ")

print()

# 0 2 4 6 8

from itertools import repeat

for x in map(double, repeat(1, 5)):

print(x, end=" ")

print()

# 2 2 2 2 2

ラムダ式が可能

map()関数の第1引数には、関数のほかにラムダ式を指定することも可能。

for x in map(lambda x: x * 2, range(5)):
    print(x, end=" ")
print()

# 0 2 4 6 8

for x in map(lambda x: x * 2, range(5)):

print(x, end=" ")

print()

# 0 2 4 6 8

辞書によるマッピング

コードが格納されているコレクションから、辞書とmap()関数でコードに対応する値を得ることができる。

dict = {0:"zero", 1:"one", 2:"two"}
for x in map(lambda key: dict[key], [0, 1, 2, 1, 0]):
    print(x, end=" ")
print()

# zero one two one zero

dict = {0:"zero", 1:"one", 2:"two"}

for x in map(lambda key: dict[key], [0, 1, 2, 1, 0]):

print(x, end=" ")

print()

# zero one two one zero

逆に値が格納されているコレクションから、辞書を使ってコードのコレクションを得ることもできる。この場合、辞書のキーとコードを入れ替えて適用する。

lst = ["two", "one", "zero", "one", "two"]
dict_inv = {v:k for k, v in dict.items()}
for x in map(lambda key: dict_inv[key], lst):
    print(x, end=" ")
print()

# 2 1 0 1 2

lst = ["two", "one", "zero", "one", "two"]

dict_inv = {v:k for k, v in dict.items()}

for x in map(lambda key: dict_inv[key], lst):

print(x, end=" ")

print()

# 2 1 0 1 2

Python3 – スライスとfindでの位置指定の違い

2016-09-29 / tau / コメントする

文字列のスライスとfind/rfindで検索範囲の指定が違っていて混乱したので整理する。

文字列のスライスでは、次のように指定する。

string[start:end:step]

1	string[start:end:step]

このとき、stepが正なら前方から後方へ、負なら後方から前方へ向かって文字列が取り出されるが、そのときのstartとendの指定は、stepが正か負かで次のように違ってくる。

s = "0123456789"

print(s[3:7:1])
print(s[-7:-3:1])
# どちらも"3456"
# start:stopでstart<stop

print(s[7:3:1])
print(s[-3:-7:1])
# どちらも""
# start:stopでstart>stop

print(s[3:7:-1])
print(s[-7:-3:-1])
# どちらも""
# start:stopでstart<stop

print(s[7:3:-1])
print(s[-3:-7:-1])
# どちらも"7654"
# start:stopでstart>stop

s = "0123456789"

print(s[3:7:1])

print(s[-7:-3:1])

# どちらも"3456"

# start:stopでstart<stop

print(s[7:3:1])

print(s[-3:-7:1])

# どちらも""

# start:stopでstart>stop

print(s[3:7:-1])

print(s[-7:-3:-1])

# どちらも""

# start:stopでstart<stop

print(s[7:3:-1])

print(s[-3:-7:-1])

# どちらも"7654"

# start:stopでstart>stop

つまりstepが正の時は、前方から後方へ文字列が取り出されるのでstart<stop、stepが負の時は逆にstart>stopでなければならない。

一方、find/rfindについてはスライスと違ってくる。

s = "abcdeabcde"

print(s.find('b',4, 8))
print(s.find('b',-6, -2))
# どちらも6
# start,stopでstart<stop

print(s.find('b',8, 4))
print(s.find('b',-2, -6))
# どちらも-1
# start,stopでstart>stop

print(s.find('b',4, 8))
print(s.find('b', -6, -2))
# どちらも6
# start,stopでstart<stop

print(s.rfind('b',8, 4))
print(s.rfind('b',-2, -6))
# どちらも-1
# start,stopでstart>stop

s = "abcdeabcde"

print(s.find('b',4, 8))

print(s.find('b',-6, -2))

# どちらも6

# start,stopでstart<stop

print(s.find('b',8, 4))

print(s.find('b',-2, -6))

# どちらも-1

# start,stopでstart>stop

print(s.find('b',4, 8))

print(s.find('b', -6, -2))

# どちらも6

# start,stopでstart<stop

print(s.rfind('b',8, 4))

print(s.rfind('b',-2, -6))

# どちらも-1

# start,stopでstart>stop

(string, start, stop)の指定で、検索範囲の指定は常にstart < stopでなければならない。

Python3 – モジュールとパッケージ

2016-09-28 / tau / コメントする

概要

モジュールは共通して利用したい実行ファイルをインポートできるように配置したもの。パッケージはパッケージやモジュールをひとまとめにするもの。

ローカルの実行環境では、ディレクトリがパッケージになる
- パッケージ内の__init__.pyファイルは特別なモジュールで、パッケージをインポートするだけでモジュール内の関数やクラスが使える
- パッケージ下にモジュールファイルを置くと、[パッケージ名].[モジュール名]でモジュール内の関数やクラスが使える
パッケージのセットアップとインストール→今後

カレントディレクトリ下での使用

モジュールは普通のPython実行ファイルで作成。

たとえばカレントディレクトリに以下のようなファイルをtestmodule.pyとして置く。このモジュールには関数が1つとクラスが1つ定義されている。

# testmodule.py

def exec():
    print("Test module")

class ModuleClass:
    def display(self):
        print("Module class")

# testmodule.py

def exec():

print("Test module")

class ModuleClass:

def display(self):

print("Module class")

そして同じカレントディレクトリにあるtest.pyを以下のように書く。

# test.py

import testmodule

testmodule.exec()

instance = testmodule.ModuleClass()
instance.display()

# test.py

import testmodule

testmodule.exec()

instance = testmodule.ModuleClass()

instance.display()

この時点でファイル構成は以下のようになっている。

<python>
    test.py
    testmodule.py

test.py

testmodule.py

ここでtest.pyを実行すると次のように表示される。無事インポートできて、モジュールで定義した関数、クラスとも使える。

Test module
Module class

1 2	Test module Module class

実行後には新しいディレクトリが追加されて、以下のようになった。

<python>
    test.py
    testmodule.py
    <__pycache__>
        testmodule.cpython-35.pyc

test.py

testmodule.py

<__pycache__>

testmodule.cpython-35.pyc

カレントディレクトリ下でのモジュール管理のまとめ

関数・クラスなどを含むモジュールをPythonファイルとして作成し、カレントファイルに置く
利用側で、モジュール名(モジュールのファイル名から拡張子”.py”を除いた名前)を指定してインポート
[モジュール名].[関数名/クラス名]として利用

サブディレクトリ管理でのエラー

モジュールをカレントディレクトリではなくサブディレクトリに置いて管理したいので、以下のように置いてみる。

<python>
    test.py
    <subdir>
        testmodule.py

test.py

testmodule.py

そして以下のように呼び出そうとしたが残念ながらエラー。

import subdir.testmodule

#     import subdir/testmodule
# SyntaxError: invalid syntax

import subdir.testmodule

# import subdir/testmodule

# SyntaxError: invalid syntax

ただしこの実行後、サブディレクトリの下に新しいディレクトリがつくられていた。

<python>
    test.py
    <subdir>
        testmodule.py
        <__pyckache__>
            testmodule.cpython-35.pyc

test.py

testmodule.py

<__pyckache__>

testmodule.cpython-35.pyc

これはimport文を読んだPythonがsubdirというパッケージを探しに行ったが見つからなかったためで、モジュールを置いたディレクトリをパッケージとしてPythonに認識させる必要がある。

パッケージ

パッケージ直下のモジュール

ディレクトリをパッケージとしてPythonに認識させるためには__init__.pyというファイルが必要になる。

たとえば以下のようなディレクトリ・ファイル構造として

<python>
    test.py
    <testpackage>
        __init__.py

test.py

__init__.py

__init__.pyファイル内容を前のtestmodule.pyと同じとする。

# __init__.py

def exec():
    print("Test module")

class ModuleClass:
    def display(self):
        print("Module class")

# __init__.py

def exec():

print("Test module")

class ModuleClass:

def display(self):

print("Module class")

カレントディレクトリ下のtest.pyでは前は[モジュール名].[関数/クラス]としていたが、今回は以下のようにパッケージから呼び出すように変更。__init__.pyファイルに書いたモジュールは、パッケージ直下から呼び出される。

# test.py

import testpackage

testpackage.exec()

instance = testpackage.ModuleClass()
instance.display()

# test.py

import testpackage

testpackage.exec()

instance = testpackage.ModuleClass()

instance.display()

出力は以下の通りとなって成功。

Test module
Module class

1 2	Test module Module class

またここでもmypackageディレクトリの下に新しいディレクトリが作成された。

<python>
    test.py
    <testpackage>
        __init__.py
        <pychache>
            __init__.cpython-35.pyc

test.py

__init__.py

__init__.cpython-35.pyc

パッケージ内のモジュール

testpackageディレクトリ下にothermodule.pyファイルを置く。

<python>
    test.py
    <testpackage>
        __init__.py
        othermodule.py

test.py

__init__.py

othermodule.py

# othermodule.py

def exec():
    print("Other module")

# othermodule.py

def exec():

print("Other module")

test.pyを以下のようにして実行。

# test.py

import testpackage
import testpackage.othermodule

testpackage.exec()

instance = testpackage.ModuleClass()
instance.display()

testpackage.othermodule.exec()

# test.py

import testpackage

import testpackage.othermodule

testpackage.exec()

instance = testpackage.ModuleClass()

instance.display()

testpackage.othermodule.exec()

以下のように実行される。

Test module
Module class
Other module

Test module

Module class

Other module

一度実行されると、pycacheディレクトリに新たなファイルが追加される。

<python>
    test.py
    <testpackage>
        __init__.py
        othermodule.py
        <pychache>
            __init__.cpython-35.pyc
            othermodule.cpython-35.pyc

test.py

__init__.py

othermodule.py

__init__.cpython-35.pyc

othermodule.cpython-35.pyc

待ち行列(M/M/1)の再現 – 時刻制御

2016-09-27 / tau / コメントする

考え方

時刻制御(time driven)による待ち行列の計算の考え方は次の通り。

時刻t₀から始めて、以下時間間隔Δtずつ増やしながら計算を進めていく
ある時刻で一様乱数の値がλΔtより小さければ到着が発生
- 新たにトランザクションを生成し、到着時刻を記録し、システムに投入する
ある時刻で到着が発生せず、システムにトランザクションがある場合、一様乱数の値がμΔｔより小さければサービスが終了
- サービス中のトランザクションのサービスを終了させ、終了時刻を記録する
- このとき待ち行列にトランザクションがあれば、先頭のトランザクションのサービスを開始し、サービス開始時刻を記録する
予め設定していた時刻(またはトランザクション数)に達したら終了

queue-mm1-time-driven-fig1

たとえば上の図でトランザクション②に注目すると、

時刻t₄でトランザクションが発生
t₇でトランザクション①のサービスが終了し、②のサービスが開始
t₈でサービス終了

イベント制御のケースではRを用いたが、今回はPythonを使う。なおM/M/1待ち行列の解析的アプローチはこちら。

待ち行列システムのクラスをつくり、システムの外からはトランザクションの到着、サービス終了の操作を行うだけで、内部的に処理が進むようにする。

クラス構成

待ち行列システムを表すQueueSystemクラス、システムのサービス窓口を表すServiceクラス、システム中の1つのトランザクションを表すTransactionクラスから構成される。システム中の待ち行列はインスタンス変数のリストとして持つ。

M/M/1型の行列システムとして、QueueSystemクラスは1つのServiceオブジェクトと1つの待ち行列リストをメンバーに持つ。

トランザクションの到着の指示が出るとTransactionオブジェクトが生成され、システムに登録される。

その一方で実行中のサービス終了の指示が出るとサービスを受けているトランザクションが解放される。

各Transactionオブジェクトに対して、システムの到着、サービスの開始、サービスの終了の時刻が自動的に登録される。

Transactionクラス

識別子としての整数値のindexのほか、到着・サービス開始・サービス終了の時刻、到着時のシステム内トランザクション数と待ち行列長をメンバーとして持つ
- これらのメンバーに対しては直接アクセスして参照・代入する
このクラスのオブジェクトの文字列表現を__str__メソッドで実装している

class Transaction:
    def __init__(self, index, arrive_time):
        self.index = index
        self.arrive_time = arrive_time
        self.start_time = 0
        self.end_time = 0
        self.transaction_number_when_arrived = 0
        self.queue_length_when_arrived = 0

    def __str__(self):
        return "<{}:{},{},{}>".format(
            self.index, self.arrive_time, self.start_time, self.end_time)

class Transaction:

def __init__(self, index, arrive_time):

self.index = index

self.arrive_time = arrive_time

self.start_time = 0

self.end_time = 0

self.transaction_number_when_arrived = 0

self.queue_length_when_arrived = 0

def __str__(self):

return "<{}:{},{},{}>".format(

self.index, self.arrive_time, self.start_time, self.end_time)

Serviceクラス

privateなメンバ_transactionを持ち、これはサービス中のトランザクションを保持する
- サービス中のトランザクションがない場合はNone
サービス窓口が空いているか(vacant)、サービス中か(occupied)を判定するメソッドを持つ
サービス中のトランサクションへの参照を返すtransaction_in_service()メソッドを持つ
サービス開始時の処理を行うstart()メソッドを持つ
- サービスを開始するTransactionオブジェクトとサービス開始時刻を指定する
サービス終了時の処理を行うend()メソッドを持つ
- サービス終了時刻を指定し、サービス中のTransactionオブジェクトにその時刻を設定し、オブジェクトへの参照を返す

class Service:
    def __init__(self):
        self._transaction = None

    def is_vacant(self):
        return self._transaction is None

    def is_occupied(self):
        return self._transaction is not None

    def transaction_in_service(self):
        return self._transaction

    def start(self, transaction, time):
        transaction.start_time = time
        self._transaction = transaction

    def end(self, time):
        transaction = self._transaction
        transaction.end_time = time
        self._transaction = None
        return transaction

class Service:

def __init__(self):

self._transaction = None

def is_vacant(self):

return self._transaction is None

def is_occupied(self):

return self._transaction is not None

def transaction_in_service(self):

return self._transaction

def start(self, transaction, time):

transaction.start_time = time

self._transaction = transaction

def end(self, time):

transaction = self._transaction

transaction.end_time = time

self._transaction = None

return transaction

QueueSystemクラス

メンバとなるインスタンス変数は4つ

待ち行列リスト_queue
サービス窓口オブジェクト_service
到着済みのトランザクションを登録する_arrived_transaction_list
サービス完了済みのトランザクションを登録する_departed_transaction_list

getter系のメソッドは

システム中にあるトランザクション数を返すtransaction_number_in_system()
待ち行列長を返すqueue_length()
システム中にあるトランザクションへの参照を返すtransaction_in_service()
待ち行列中にあるトランザクションへの参照を返すtransaction_in_queue()
到着済みのトランザクション数を返すarrived_transaction_number()
完了済みのトランザクション数を返すdeparted_transaction_number()
到着済みのトランザクションのn番目を返すarrived_transaction()
完了済みのトランザクションのn番目を返すdeparted_transaction()

システムを操作するメソッドは

システムに到着したトランザクションを登録するarrive()
サービスが終了したトランザクションをシステムから取り出すdepart()

システムの状態を表示するメソッドとして以下の2つを実装している。

システムの現在の状態を表示するdisplay_current_status()
サービスを完了したトランザクション群の各パラメータを表示するdisplay_transaction_summary()

class QueueSystem:
    def __init__(self):
        self._queue = []
        self._service = Service()
        self._arrived_transaction_list = []
        self._departed_transaction_list = []

    def transaction_number_in_system(self):
        return (len(self._queue)
                + (1 if self._service.is_occupied() else 0))

    def queue_length(self):
        return len(self._queue)

    def transaction_in_service(self):
        return self._service.transaction_in_service()

    def transaction_in_queue(self, n):
        return self._queue[n]

    def arrived_transaction_number(self):
        return len(self._arrived_transaction_list)

    def departed_transaction_number(self):
        return len(self._departed_transaction_list)

    def arrived_transaction(self, n):
        return self._arrived_transaction_list[n]

    def departed_transaction(self, n):
        return self._departed_transaction_list[n]

    def arrive(self, transaction):
        self._arrived_transaction_list.append(transaction)
        transaction.transaction_number_when_arrived = \
            self.transaction_number_in_system()
        transaction.queue_length_when_arrived = self.queue_length()
        if self._service.is_vacant():
            self._service.start(transaction, transaction.arrive_time)
        else:
            self._queue.append(transaction)

    def depart(self, time):
        departing_transaction = self._service.end(time)
        self._departed_transaction_list.append(departing_transaction)
        if len(self._queue) > 0:
            waiting_transaction = self._queue.pop(0)
            self._service.start(waiting_transaction, time)

    def display_current_status(self):
        print()
        print("--- Queue System Status ---")
        print("arrived :{0:5d}".format(self.arrived_transaction_number()))
        print("departed:{0:5d}".format(self.departed_transaction_number()))
        print("[Service]")
        if self.transaction_number_in_system() > 0:
            print(' ' + str(self.transaction_in_service()))
        print("[Queue]")
        if self.queue_length() > 0:
            for n in range(0, self.queue_length()):
                print(self.transaction_in_queue(n))

    def display_transaction_summary(self):
        print()
        print("---------------------------- " \
            "All Transaction Summary " \
            "---------------------------")
        print(
            "     index    arrive     start       end" \
            "   trs num   que len wait time  trs time")
        for tr in self._departed_transaction_list:
            print("{0:10d}{1:10.2f}{2:10.2f}{3:10.2f}" \
                "{4:10d}{5:10d}{5:10.2f}{6:10.2f}".format(
                tr.index, tr.arrive_time, tr.start_time, tr.end_time,
                tr.transaction_number_when_arrived,
                tr.queue_length_when_arrived,
                tr.start_time - tr.arrive_time, tr.end_time - tr.arrive_time))

class QueueSystem:

def __init__(self):

self._queue = []

self._service = Service()

self._arrived_transaction_list = []

self._departed_transaction_list = []

def transaction_number_in_system(self):

return (len(self._queue)

+ (1 if self._service.is_occupied() else 0))

def queue_length(self):

return len(self._queue)

def transaction_in_service(self):

return self._service.transaction_in_service()

def transaction_in_queue(self, n):

return self._queue[n]

def arrived_transaction_number(self):

return len(self._arrived_transaction_list)

def departed_transaction_number(self):

return len(self._departed_transaction_list)

def arrived_transaction(self, n):

return self._arrived_transaction_list[n]

def departed_transaction(self, n):

return self._departed_transaction_list[n]

def arrive(self, transaction):

self._arrived_transaction_list.append(transaction)

transaction.transaction_number_when_arrived = \

self.transaction_number_in_system()

transaction.queue_length_when_arrived = self.queue_length()

if self._service.is_vacant():

self._service.start(transaction, transaction.arrive_time)

else:

self._queue.append(transaction)

def depart(self, time):

departing_transaction = self._service.end(time)

self._departed_transaction_list.append(departing_transaction)

if len(self._queue) > 0:

waiting_transaction = self._queue.pop(0)

self._service.start(waiting_transaction, time)

def display_current_status(self):

print()

print("--- Queue System Status ---")

print("arrived :{0:5d}".format(self.arrived_transaction_number()))

print("departed:{0:5d}".format(self.departed_transaction_number()))

print("[Service]")

if self.transaction_number_in_system() > 0:

print(' ' + str(self.transaction_in_service()))

print("[Queue]")

if self.queue_length() > 0:

for n in range(0, self.queue_length()):

print(self.transaction_in_queue(n))

def display_transaction_summary(self):

print()

print("---------------------------- " \

"All Transaction Summary " \

"---------------------------")

print(

" index arrive start end" \

" trs num que len wait time trs time")

for tr in self._departed_transaction_list:

print("{0:10d}{1:10.2f}{2:10.2f}{3:10.2f}" \

"{4:10d}{5:10d}{5:10.2f}{6:10.2f}".format(

tr.index, tr.arrive_time, tr.start_time, tr.end_time,

tr.transaction_number_when_arrived,

tr.queue_length_when_arrived,

tr.start_time - tr.arrive_time, tr.end_time - tr.arrive_time))

動作テスト

上記のクラス群を使って以下を実行。規則正しく刻まれた時刻に4つのトランザクションが到着し、その後規則正しくサービスが終了していく様子と、その結果を表示させている。

trs = []
for n in range(1, 10):
    trs.append(Transaction(n, n*10))

system = QueueSystem()
system.display_current_status()

system.arrive(trs[0])
system.display_current_status()

system.arrive(trs[1])
system.display_current_status()

system.arrive(trs[2])
system.display_current_status()

system.arrive(trs[3])
system.display_current_status()

system.depart(45)
system.display_current_status()

system.depart(55)
system.display_current_status()

system.depart(65)
system.display_current_status()

system.depart(75)
system.display_current_status()

print()
system.display_transaction_summary()

print()
print("-- arrived --")
na = system.arrived_transaction_number()
for i in range(0, na):
    print(system.arrived_transaction(i))

print()
print("-- departed --")
na = system.departed_transaction_number()
for i in range(0, na):
    print(system.departed_transaction(i))

trs = []

for n in range(1, 10):

trs.append(Transaction(n, n*10))

system = QueueSystem()

system.display_current_status()

system.arrive(trs[0])

system.display_current_status()

system.arrive(trs[1])

system.display_current_status()

system.arrive(trs[2])

system.display_current_status()

system.arrive(trs[3])

system.display_current_status()

system.depart(45)

system.display_current_status()

system.depart(55)

system.display_current_status()

system.depart(65)

system.display_current_status()

system.depart(75)

system.display_current_status()

print()

system.display_transaction_summary()

print()

print("-- arrived --")

na = system.arrived_transaction_number()

for i in range(0, na):

print(system.arrived_transaction(i))

print()

print("-- departed --")

na = system.departed_transaction_number()

for i in range(0, na):

print(system.departed_transaction(i))

実行結果は以下の通りで、意図したようにトランザクションの到着に従って登録され、終了指示によって待ち行列・サービス状況が変化している。

--- Queue System Status ---
arrived :    0
departed:    0
[Service]
[Queue]

--- Queue System Status ---
arrived :    1
departed:    0
[Service]
 <1:10,10,0>
[Queue]

--- Queue System Status ---
arrived :    2
departed:    0
[Service]
 <1:10,10,0>
[Queue]
<2:20,0,0>

--- Queue System Status ---
arrived :    3
departed:    0
[Service]
 <1:10,10,0>
[Queue]
<2:20,0,0>
<3:30,0,0>

--- Queue System Status ---
arrived :    4
departed:    0
[Service]
 <1:10,10,0>
[Queue]
<2:20,0,0>
<3:30,0,0>
<4:40,0,0>

--- Queue System Status ---
arrived :    4
departed:    1
[Service]
 <2:20,45,0>
[Queue]
<3:30,0,0>
<4:40,0,0>

--- Queue System Status ---
arrived :    4
departed:    2
[Service]
 <3:30,55,0>
[Queue]
<4:40,0,0>

--- Queue System Status ---
arrived :    4
departed:    3
[Service]
 <4:40,65,0>
[Queue]

--- Queue System Status ---
arrived :    4
departed:    4
[Service]
[Queue]


-----------------------=---- All Transaction Summary ---------------------------
     index    arrive     start       end   trs num   que len wait time  trs time
         1     10.00     10.00     45.00         0         0      0.00      0.00
         2     20.00     45.00     55.00         1         0      0.00     25.00
         3     30.00     55.00     65.00         2         1      1.00     25.00
         4     40.00     65.00     75.00         3         2      2.00     25.00

-- arrived --
<1:10,10,45>
<2:20,45,55>
<3:30,55,65>
<4:40,65,75>

-- departed --
<1:10,10,45>
<2:20,45,55>
<3:30,55,65>

--- Queue System Status ---

arrived : 0

departed: 0

[Service]

[Queue]

--- Queue System Status ---

arrived : 1

departed: 0

[Service]

<1:10,10,0>

[Queue]

--- Queue System Status ---

arrived : 2

departed: 0

[Service]

<1:10,10,0>

[Queue]

<2:20,0,0>

--- Queue System Status ---

arrived : 3

departed: 0

[Service]

<1:10,10,0>

[Queue]

<2:20,0,0>

<3:30,0,0>

--- Queue System Status ---

arrived : 4

departed: 0

[Service]

<1:10,10,0>

[Queue]

<2:20,0,0>

<3:30,0,0>

<4:40,0,0>

--- Queue System Status ---

arrived : 4

departed: 1

[Service]

<2:20,45,0>

[Queue]

<3:30,0,0>

<4:40,0,0>

--- Queue System Status ---

arrived : 4

departed: 2

[Service]

<3:30,55,0>

[Queue]

<4:40,0,0>

--- Queue System Status ---

arrived : 4

departed: 3

[Service]

<4:40,65,0>

[Queue]

--- Queue System Status ---

arrived : 4

departed: 4

[Service]

[Queue]

-----------------------=---- All Transaction Summary ---------------------------

index arrive start end trs num que len wait time trs time

1 10.00 10.00 45.00 0 0 0.00 0.00

2 20.00 45.00 55.00 1 0 0.00 25.00

3 30.00 55.00 65.00 2 1 1.00 25.00

4 40.00 65.00 75.00 3 2 2.00 25.00

-- arrived --

<1:10,10,45>

<2:20,45,55>

<3:30,55,65>

<4:40,65,75>

-- departed --

<1:10,10,45>

<2:20,45,55>

<3:30,55,65>

時刻制御の実装

考え方

概略の流れは以下の通り。

計算に必要なパラメータを設定する
- 到着率　λ
- サービス率　μ
- 計算時間範囲　t_max
- 計算時間間隔　dt
時刻tが0からt_maxになるまでdtずつ増やしながら以下を実行(以下、randは[0, 1)の一様乱数値)
- λdt < randならトランザクションが一つ到着して次の時間ステップへ
- サービス中のトランザクションがあって、μdt < randならトランザクションが一つ終了して次の時間ステップへ
トランザクションのサマリーを表示

テスト実行

import numpy.random as rnd

lmd = 1 / 10
mu = 1 / 8
t_max = 100
dt = 0.5

system = QueueSystem()

nstep = int(t_max / dt)
index = 0
for it in range(0, nstep):
    t = it * dt

    if rnd.rand() < lmd * dt:
        transaction = Transaction(index, t)
        system.arrive(transaction)
        index += 1
        continue

    if system.transaction_number_in_system() > 0:
        if rnd.rand() < mu * dt:
            transaction = system.depart(t)
            continue

system.display_transaction_summary()

import numpy.random as rnd

lmd = 1 / 10

mu = 1 / 8

t_max = 100

dt = 0.5

system = QueueSystem()

nstep = int(t_max / dt)

index = 0

for it in range(0, nstep):

t = it * dt

if rnd.rand() < lmd * dt:

transaction = Transaction(index, t)

system.arrive(transaction)

index += 1

continue

if system.transaction_number_in_system() > 0:

if rnd.rand() < mu * dt:

transaction = system.depart(t)

continue

system.display_transaction_summary()

実行結果は以下の通り。

-----------------------=---- All Transaction Summary ---------------------------
     index    arrive     start       end   trs num   que len wait time  trs time
         0      1.00      1.00     12.50         0         0      0.00      0.00
         1      2.50     12.50     15.00         1         0      0.00     10.00
         2      5.00     15.00     17.50         2         1      1.00     10.00
         3     10.00     17.50     24.00         3         2      2.00      7.50
         4     20.00     24.00     37.00         1         0      0.00      4.00
         5     25.00     37.00     39.50         1         0      0.00     12.00
         6     30.00     39.50     41.00         2         1      1.00      9.50
         7     34.50     41.00     46.00         3         2      2.00      6.50
         8     52.50     52.50     67.50         0         0      0.00      0.00
         9     68.50     68.50     69.50         0         0      0.00      0.00
        10     70.00     70.00     80.00         0         0      0.00      0.00
        11     72.00     80.00     91.00         1         0      0.00      8.00
        12     81.00     91.00     93.50         1         0      0.00     10.00

-----------------------=---- All Transaction Summary ---------------------------

index arrive start end trs num que len wait time trs time

0 1.00 1.00 12.50 0 0 0.00 0.00

1 2.50 12.50 15.00 1 0 0.00 10.00

2 5.00 15.00 17.50 2 1 1.00 10.00

3 10.00 17.50 24.00 3 2 2.00 7.50

4 20.00 24.00 37.00 1 0 0.00 4.00

5 25.00 37.00 39.50 1 0 0.00 12.00

6 30.00 39.50 41.00 2 1 1.00 9.50

7 34.50 41.00 46.00 3 2 2.00 6.50

8 52.50 52.50 67.50 0 0 0.00 0.00

9 68.50 68.50 69.50 0 0 0.00 0.00

10 70.00 70.00 80.00 0 0 0.00 0.00

11 72.00 80.00 91.00 1 0 0.00 8.00

12 81.00 91.00 93.50 1 0 0.00 10.00

実行結果

到着時間間隔の分布の確認

およそ1000個のデータを発生させるため、観測時間を10000秒にして計算し、到着したトランザクションの到着時間間隔を確認した。確認部分のコードの未以下に示す。

arrival_interval = []
for i in range(0, system.departed_transaction_number() - 1):
    transaction = system.departed_transaction(i)
    next_transaction = system.departed_transaction(i + 1)
    arrival_interval.append(next_transaction.arrive_time - transaction.arrive_time)

range_max = 60
bins_num = 10
n = len(arrival_interval)
x = [t for t in range(0, range_max)]
plt.plot(x, [lmd*exp(-lmd*t) for t in x])
plt.hist(arrival_interval, range=(0, range_max), bins=bins_num, normed=True)
plt.show()

arrival_interval = []

for i in range(0, system.departed_transaction_number() - 1):

transaction = system.departed_transaction(i)

next_transaction = system.departed_transaction(i + 1)

arrival_interval.append(next_transaction.arrive_time - transaction.arrive_time)

range_max = 60

bins_num = 10

n = len(arrival_interval)

x = [t for t in range(0, range_max)]

plt.plot(x, [lmd*exp(-lmd*t) for t in x])

plt.hist(arrival_interval, range=(0, range_max), bins=bins_num, normed=True)

plt.show()

実行結果は以下の通りで、指数分布の理論値とよく合っている。

matplotlibのhist関数はnormed=Trueとした場合に期待した動作をしないことがあるが、このケースではうまくいっている。

queue-mm1-time-driven-arrival-interval

平均トランザクション数・平均待ち行列長など

10000秒の観測時間で、システム内の平均トランザクション数、平均待ち行列長と、それらに対する平均応答時間、平均待ち時間について計算し、λ、μから計算される理論値と比較した。

mean_transaction_number_in_system = 0
mean_queue_length = 0
mean_wait_time = 0
mean_transaction_time = 0
n = system.departed_transaction_number()

for i in range(n):
    tr = system.departed_transaction(i)
    mean_transaction_number_in_system += tr.transaction_number_when_arrived
    mean_queue_length += tr.queue_length_when_arrived
    mean_transaction_time += tr.end_time - tr.arrive_time
    mean_wait_time += tr.start_time - tr.arrive_time

mean_transaction_number_in_system /= n
mean_queue_length /= n
mean_transaction_time /= n
mean_wait_time /= n

rho = lmd / mu
Lt = rho / (1 - rho)
Lq = rho * rho / (1 - rho)
Tt = Lt / lmd
Tq = Lq / lmd

print("transaction number:" + str(n))
fmtstr = "{0:10s}{1:15.2f}{2:15.2f}"
print("                 observed     calculated")
print(fmtstr.format("trs num", mean_transaction_number_in_system, Lt))
print(fmtstr.format("queue len", mean_queue_length, Lq))
print(fmtstr.format("trs time", mean_transaction_time, Tt))
print(fmtstr.format("wait time", mean_wait_time, Tq))

mean_transaction_number_in_system = 0

mean_queue_length = 0

mean_wait_time = 0

mean_transaction_time = 0

n = system.departed_transaction_number()

for i in range(n):

tr = system.departed_transaction(i)

mean_transaction_number_in_system += tr.transaction_number_when_arrived

mean_queue_length += tr.queue_length_when_arrived

mean_transaction_time += tr.end_time - tr.arrive_time

mean_wait_time += tr.start_time - tr.arrive_time

mean_transaction_number_in_system /= n

mean_queue_length /= n

mean_transaction_time /= n

mean_wait_time /= n

rho = lmd / mu

Lt = rho / (1 - rho)

Lq = rho * rho / (1 - rho)

Tt = Lt / lmd

Tq = Lq / lmd

print("transaction number:" + str(n))

fmtstr = "{0:10s}{1:15.2f}{2:15.2f}"

print(" observed calculated")

print(fmtstr.format("trs num", mean_transaction_number_in_system, Lt))

print(fmtstr.format("queue len", mean_queue_length, Lq))

print(fmtstr.format("trs time", mean_transaction_time, Tt))

print(fmtstr.format("wait time", mean_wait_time, Tq))

計算結果は以下の通りで、かなり整合している。

transaction number:990
                 observed     calculated
trs num              0.99           1.00
queue len            0.48           0.50
trs time            10.19          10.00
wait time            5.09           5.00

transaction number:990

observed calculated

trs num 0.99 1.00

queue len 0.48 0.50

trs time 10.19 10.00

wait time 5.09 5.00

各実行結果の傾向

およそ1000個のデータに相当する10000時間単位まで、時間ステップ0.1で計算を行い、理論値との違いを確認した。

ρ = 0.5のケース

λ = 1/10、μ = 1/5、ρ = 0.5のケース。平均トランザクション数と平均待ち行列長の理論値は、L = 1、L_q = 0.5で、これらに対する待ち時間はT = 10、T_w = 5。

トランザクション数に関する計算結果は理論値とかなりよく合っている。

	L	T	1/λ
1	1.19667319	11.32504892	9.46377759
2	1.14047151	10.43113949	9.14633938
3	1.01360544	9.81409135	9.68235860
4	1.10038241	10.86032505	9.86959165
5	1.21322160	11.32597765	9.33545664
6	0.91197544	9.24390993	10.13613912
7	0.92921236	9.52532403	10.25096570
8	0.92452830	9.96117180	10.77432870
9	0.87450199	9.12868526	10.43872440
10	0.93159923	9.19017341	9.86494311
AVG	1.02361714	10.08058469	9.89626249
STD	0.12142639	0.81382679	0.48579815

待ち行列長は若干ばらつきが大きくなっている。

	Lq	Tq	1/λ
1	0.67906067	6.27358121	9.23861664
2	0.63555992	5.54204322	8.71993819
3	0.50728863	4.87269193	9.60536397
4	0.57456979	5.73049713	9.97354408
5	0.63314711	6.07476723	9.59455888
6	0.42169908	4.29559877	10.18640773
7	0.46660020	4.73389831	10.14551282
8	0.44985104	5.01837140	11.15562921
9	0.38844622	4.27151394	10.99641011
10	0.44797688	4.41705202	9.85999996
AVG	0.52041995	5.12300151	9.94759816
STD	0.09722322	0.70052360	0.70110321

ρ = 0.9のケース

λ = 1/10、μ = 1/9、ρ = 0.9のケース。平均トランザクション数と平均待ち行列長の理論値は、L = 9、L_q = 8.1で、これらに対する待ち時間はT = 90、T_w = 81。

トランザクション数に関する計算結果は、理論値の周りに大きくばらついている。

	L	T	1/λ
1	7.59815951	76.92402863	10.12403445
2	7.72051010	86.82890542	11.24652443
3	7.96595331	80.47908560	10.10288191
4	5.22616633	54.55070994	10.43799728
5	5.11700000	52.88450000	10.33505961
6	8.65760322	89.70845921	10.36181226
7	6.19872476	65.22922423	10.52300703
8	10.88111888	110.54815185	10.15963092
9	8.41194645	86.59763131	10.29460088
10	18.80710660	193.82274112	10.30582456
AVG	8.65842892	89.75734373	10.38913733
STD	3.75303129	38.38222105	0.31302798

待ち行列長の計算結果もかなりばらついている。

	Lq	Tq	1/λ
1	6.71165644	67.97975460	10.12861061
2	6.82678002	77.21158342	11.31010274
3	7.02334630	71.38190661	10.16351801
4	4.35902637	45.64036511	10.47031177
5	4.22800000	44.04650000	10.41780984
6	7.72205438	80.19728097	10.38548513
7	5.31880978	56.14229543	10.55542457
8	9.95704296	101.38201798	10.18194040
9	7.49742533	77.17693100	10.29379122
10	17.87005076	184.15197970	10.30506193
AVG	7.75141923	80.53106148	10.42120562
STD	3.73662161	38.18242499	0.32416633

ρが高くなる(混雑してくる）と計算結果と理論値のかい離が大きくなるのは、(言語が異なるとはいえ)同じ傾向。時刻制御では計算時間間隔を0.1でも試してみたが、あまり傾向は変わらない。

Python3 – ジェネレーターの実装

2016-09-26 / tau / コメントする

関数とyield文によるジェネレーター

イテレータが__next__メソッドでコレクションの要素を取り出すのに有用なのに対して、ジェネレーターはyield文で任意の結果を順次返していく。関数内にyield文を書くと、その関数はジェネレーターになる。

def generator():
    yield 1
    yield 'A'
    yield 2
    yield 'B'

gen = generator()
for n in gen: print(n, end=' ')

# 1 A 2 B

def generator():

yield 1

yield 'A'

yield 2

yield 'B'

gen = generator()

for n in gen: print(n, end=' ')

# 1 A 2 B

ジェネレーターは以下のように構成する。

ジェネレーターは関数として定義され、その関数への参照として取得する
forブロックのループのたびにジェネレーターの中のyieldが順次1つずつ呼び出される
呼び出せるyield文がなくなるか、forブロックで強制的に抜け出したときループが終了

先の例ではjoin文が4回だけ呼び出されるので、それが呼べなくなったときにループが終了する。これに対して次の例では、ジェネレーターは無限に結果を生成し続け、forブロックで条件に合致したときにループを終了させている。

def generator():
    a = 1
    while True:
        yield a
        a += 1

gen = generator()
for n in gen:
    print(n, end=' ')
    if n == 10: break

# 1 2 3 4 5 6 7 8 9 10

def generator():

a = 1

while True:

yield a

a += 1

gen = generator()

for n in gen:

print(n, end=' ')

if n == 10: break

# 1 2 3 4 5 6 7 8 9 10

ジェネレーター式

内包表現と同じ表現を()内に書くと、要素を一つずつ生成するジェネレーターオブジェクトを返す。

gen = (x*x for x in range(5))
for x in gen:
    print(x, end=' ')

# 0 1 4 9 16

gen = (x*x for x in range(5))

for x in gen:

print(x, end=' ')

# 0 1 4 9 16

Python3でヒストグラムとplotの重ね合わせ

2016-09-25 / tau / コメントする

指数分布に従う乱数を生成するnumpy.random.exponential()関数の確認のため、同関数で発生させた乱数群のヒストグラムと、指数分布の確率密度関数のグラフを重ねて比較してみた。

コードは以下の通りで、ヒストグラムのrangeと関数計算のrangeを合わせている。

from math import exp
import numpy.random as rnd
import matplotlib.pyplot as plt

# 指数乱数のデータ生成
lmd = 1
data = []
data_num = 1000
for n in range(0, data_num):
    data.append(rnd.exponential(lmd))

# ヒストグラムと確率密度の表示用パラメータ
range_max = 5
range_num = 100
bins_num = 10
dt = range_max / bins_num

# 関数値とヒストグラムを重ねて表示
x = [t*range_max/range_num for t in range(range_num)]
plt.plot(x, [lmd*exp(-lmd*t)*dt*data_num for t in x])
plt.hist(data, range=(0, range_max), bins=bins_num)
plt.show()

from math import exp

import numpy.random as rnd

import matplotlib.pyplot as plt

# 指数乱数のデータ生成

lmd = 1

data = []

data_num = 1000

for n in range(0, data_num):

data.append(rnd.exponential(lmd))

# ヒストグラムと確率密度の表示用パラメータ

range_max = 5

range_num = 100

bins_num = 10

dt = range_max / bins_num

# 関数値とヒストグラムを重ねて表示

x = [t*range_max/range_num for t in range(range_num)]

plt.plot(x, [lmd*exp(-lmd*t)*dt*data_num for t in x])

plt.hist(data, range=(0, range_max), bins=bins_num)

plt.show()

実行結果は以下の通り。

python-matplot-pyplot-exponential-random

Python3 – numpy.random – 乱数

2016-09-25 / tau / コメントする

ライブラリ

乱数を扱うには、numpy.randomライブラリが必要。

import numpy.random as rnd

1	import numpy.random as rnd

`seed`～乱数系列の指定

乱数の系列を固定したいときはseed()関数でシードを設定する。この設定をしないかシードにNoneを設定した場合は、実行ごとに乱数系列が変わる。

import numpy.random as rnd

rnd.seed(0)
print(rnd.randint(0, 10, 3))
print(rnd.randint(0, 10, 3))
print(rnd.randint(0, 10, 3))

# 何度実行しても結果は同じ
# [5 0 3]
# [3 7 9]
# [3 5 2]

import numpy.random as rnd

rnd.seed(0)

print(rnd.randint(0, 10, 3))

# 何度実行しても結果は同じ

# [5 0 3]

# [3 7 9]

# [3 5 2]

並べ替え

`shuffle()`

引数で与えた配列の要素をシャッフルする。元の配列を書き換え、戻り値はNoneとなる。

import numpy as np

np.random.seed(0)

a = np.arange(10)
print(a)
# [0 1 2 3 4 5 6 7 8 9]

b = np.random.shuffle(a)
print(a)
# [2 8 4 9 1 6 7 3 0 5]
print(b)
# None

import numpy as np

np.random.seed(0)

a = np.arange(10)

print(a)

# [0 1 2 3 4 5 6 7 8 9]

b = np.random.shuffle(a)

print(a)

# [2 8 4 9 1 6 7 3 0 5]

print(b)

# None

`permutation()`

引数で与えた配列の要素をシャッフルした結果の配列を返す。元の配列は書き換えられない。

import numpy as np

np.random.seed(0)

a = np.arange(10)
print(a)
# [0 1 2 3 4 5 6 7 8 9]

b = np.random.permutation(a)
print(a)
# [0 1 2 3 4 5 6 7 8 9]
print(b)
# [2 8 4 9 1 6 7 3 0 5]

import numpy as np

np.random.seed(0)

a = np.arange(10)

print(a)

# [0 1 2 3 4 5 6 7 8 9]

b = np.random.permutation(a)

print(a)

# [0 1 2 3 4 5 6 7 8 9]

print(b)

# [2 8 4 9 1 6 7 3 0 5]

permutation(n)の引数nに整数を指定すると、permutation(np.arange(n))と同じ効果を持つ。

import numpy as np

np.random.seed(0)

a = np.random.permutation(10)
print(a)
# [2 8 4 9 1 6 7 3 0 5]

import numpy as np

np.random.seed(0)

a = np.random.permutation(10)

print(a)

# [2 8 4 9 1 6 7 3 0 5]

確率分布

一様分布～[0, 1)

`rand()`

引数なしのrand()関数は[0, 1)の一様分布に従う乱数を1つ発生させる(random()関数でも同じ)。

for n in range(5):
    r = rnd.rand()
    print(r)

# 0.4807350243481273
# 0.725911967972944
# 0.18131883260203163
# 0.5975083028283003
# 0.10273697547412297

for n in range(5):

r = rnd.rand()

print(r)

# 0.4807350243481273

# 0.725911967972944

# 0.18131883260203163

# 0.5975083028283003

# 0.10273697547412297

引数を1つ指定すると、その個数の乱数を要素に持つ配列を返す(random()関数でも同じ)。

r = rnd.rand(3)
print(r)

# [ 0.70643994  0.89404594  0.32181352]

r = rnd.rand(3)

print(r)

# [ 0.70643994 0.89404594 0.32181352]

引数を2つ指定すると、その行数・列数の2次元配列の乱数を、引数がn1、n2、n3、・・・の場合、n1×n2×n3×・・・の多次元配列を返す。

r = rnd.rand(2, 3)
print(r)

# [[ 0.26702118  0.7878606   0.90683757]
# [ 0.66694304  0.0714021   0.00593714]]

r = rnd.rand(2, 3)

print(r)

# [[ 0.26702118 0.7878606 0.90683757]

# [ 0.66694304 0.0714021 0.00593714]]

`random_sample()/random()`

random_sample()は、引数が1つの場合はrand()と同じだが。配列の場合はリストやタプルで次数を与える。

import numpy.random as rnd

rnd.seed(0)

print(rnd.random_sample(5))
print(rnd.random_sample((2, 3)))

# [0.5488135  0.71518937 0.60276338 0.54488318 0.4236548 ]
# [[0.64589411 0.43758721 0.891773  ]
#  [0.96366276 0.38344152 0.79172504]]

import numpy.random as rnd

rnd.seed(0)

print(rnd.random_sample(5))

print(rnd.random_sample((2, 3)))

# [0.5488135 0.71518937 0.60276338 0.54488318 0.4236548 ]

# [[0.64589411 0.43758721 0.891773 ]

# [0.96366276 0.38344152 0.79172504]]

random()はrandom_sample()と同じ。

import numpy.random as rnd

rnd.seed(0)

print(rnd.random(5))
print(rnd.random((2, 3)))

# [0.5488135  0.71518937 0.60276338 0.54488318 0.4236548 ]
# [[0.64589411 0.43758721 0.891773  ]
#  [0.96366276 0.38344152 0.79172504]]

import numpy.random as rnd

rnd.seed(0)

print(rnd.random(5))

print(rnd.random((2, 3)))

# [0.5488135 0.71518937 0.60276338 0.54488318 0.4236548 ]

# [[0.64589411 0.43758721 0.891773 ]

# [0.96366276 0.38344152 0.79172504]]

一様整数乱数～任意の範囲の整数

`randint()`

1～3個の引数をとり、終値未満の整数乱数を返す。終値を含まないため、配列からランダムに要素を取り出したい時に便利。

引数が1つ(n)の場合、[0, n)の範囲の整数乱数を1つ返す
引数が2つ(m, n)の場合、[m, n)の範囲の整数乱数を1つ返す
引数が3つ(m, n, s)の場合[m, n)の範囲の整数乱数s個を要素とする配列を返す

import numpy.random as rnd

print([rnd.randint(3) for i in range(10)])
# [2, 2, 2, 1, 2, 0, 2, 0, 0, 2]

print([rnd.randint(1, 3) for i in range(10)])
# [2, 1, 2, 2, 1, 2, 2, 1, 1, 2]

print(rnd.randint(1, 3, 10))
# [1 1 2 2 2 2 2 1 2 1]

import numpy.random as rnd

print([rnd.randint(3) for i in range(10)])

# [2, 2, 2, 1, 2, 0, 2, 0, 0, 2]

print([rnd.randint(1, 3) for i in range(10)])

# [2, 1, 2, 2, 1, 2, 2, 1, 1, 2]

print(rnd.randint(1, 3, 10))

# [1 1 2 2 2 2 2 1 2 1]

サイズをリストやタプルで指定した場合、それに対応した次元・要素数の多次元配列で乱数列を返す。

import numpy.random as rnd

lst = rnd.randint(1, 5, [3, 4])
print(lst)

# 3行4列の乱数配列
# [[2 1 2 3]
# [2 2 2 1]
# [3 3 4 2]]

import numpy.random as rnd

lst = rnd.randint(1, 5, [3, 4])

print(lst)

# 3行4列の乱数配列

# [[2 1 2 3]

# [2 2 2 1]

# [3 3 4 2]]

`random_integers()`

引数の構成はrandint()と同じだが、

上限値を含む、[start, end]の範囲の整数乱数
引数の意味はrandint()と同じ

import numpy.random as rnd

print([rnd.random_integers(3) for i in range(10)])
# [2, 1, 1, 1, 2, 3, 2, 3, 3, 3]

print([rnd.random_integers(1, 3) for i in range(10)])
# [2, 2, 1, 2, 2, 2, 3, 1, 1, 1]

print(rnd.random_integers(1, 3, 10))
# [1 2 1 2 1 3 1 1 1 2]

import numpy.random as rnd

print([rnd.random_integers(3) for i in range(10)])

# [2, 1, 1, 1, 2, 3, 2, 3, 3, 3]

print([rnd.random_integers(1, 3) for i in range(10)])

# [2, 2, 1, 2, 2, 2, 3, 1, 1, 1]

print(rnd.random_integers(1, 3, 10))

# [1 2 1 2 1 3 1 1 1 2]

正規分布

`randn()`～標準正規分布

平均が0、標準偏差が1の標準正規分布に従う乱数を発生させる。配列で結果を得たいときはrand()と同じように直接次数を指定する。

import numpy.random as rnd
import matplotlib.pyplot as plt

rnd.seed(0)
x = rnd.randn(1000) 

fig, ax = plt.subplots()
ax.hist(x, ec='k', fc='tab:cyan')
plt.show()

import numpy.random as rnd

import matplotlib.pyplot as plt

rnd.seed(0)

x = rnd.randn(1000)

fig, ax = plt.subplots()

ax.hist(x, ec='k', fc='tab:cyan')

plt.show()

normal()～正規分布

normal(loc=0.0, scale=1.0, size=None)

locを平均、scaleを標準偏差とする正規分布に従う乱数を返す。

import numpy.random as rnd
import matplotlib.pyplot as plt

rnd.seed(0)
x1 = rnd.normal(loc=10, scale=5, size=1000)
x2 = rnd.normal(loc=-5, scale=10, size=1000)

fig, ax = plt.subplots()
ax.hist(x1, ec='k', range=(-40, 30), bins=20, fc='tab:blue', alpha=0.5)
ax.hist(x2, ec='k', range=(-40, 30), bins=20, fc='tab:orange', alpha=0.5)
plt.show()

import numpy.random as rnd

import matplotlib.pyplot as plt

rnd.seed(0)

x1 = rnd.normal(loc=10, scale=5, size=1000)

x2 = rnd.normal(loc=-5, scale=10, size=1000)

fig, ax = plt.subplots()

ax.hist(x1, ec='k', range=(-40, 30), bins=20, fc='tab:blue', alpha=0.5)

ax.hist(x2, ec='k', range=(-40, 30), bins=20, fc='tab:orange', alpha=0.5)

plt.show()

sizeに整数を指定すると、その個数の乱数を配列で返す。

print(rnd.normal(loc=0.5, scale=2, size=5))
# [ 4.07725695  1.3730197   0.69299494 -3.22698541 -0.05477641]

1 2	print(rnd.normal(loc=0.5, scale=2, size=5)) # [ 4.07725695 1.3730197 0.69299494 -3.22698541 -0.05477641]

sizeにリスト・タプルを指定すると、その形状の配列で乱数を返す。

print(rnd.normal(loc=1, scale=5, size=(2, 3)))
# [[-0.7737949   0.58629259 -2.13500338]
#  [ 0.78090916 -1.38609015 -5.56932377]]

print(rnd.normal(loc=1, scale=5, size=(2, 3)))

# [[-0.7737949 0.58629259 -2.13500338]

# [ 0.78090916 -1.38609015 -5.56932377]]

locとscaleに同じ次数の配列を指定すると、それらがブロードキャストされた結果に従う乱数が配列で返される。

mu = [-1, 0, 1]
sigma = [0.1, 1, 10]
print(rnd.normal(mu, sigma))
# [-0.91153776  0.88131804 18.09573064]

mu = [-1, 0, 1]

sigma = [0.1, 1, 10]

print(rnd.normal(mu, sigma))

# [-0.91153776 0.88131804 18.09573064]

`exponential()`～指数分布

指数分布。

exponential(lmd) – 指数分布: lmdは平均の逆数で、ポアソン過程でいう到着率、サービス率にあたる。

Tips

整数の乱数配列を生成する

整数の乱数配列を生成する方法はこちら。

matplotlib.pyplot.bar – 棒グラフ

2016-09-25 / tau / コメントする

基本形

pyplot.bar()に2つの引数を与えるのが基本形。

第1引数は横軸のリスト
第2引数は横軸リストの要素に対応した値

x = [1, 2, 3]
value = [3, 2, 4]
plt.bar(x, value)
plt.show()

x = [1, 2, 3]

value = [3, 2, 4]

plt.bar(x, value)

plt.show()

python-matplot-pyplot-bar01

bar(x, y)の横軸xの要素はfloatでなければならないが、これを文字表記に変更する。

import matplotlib.pyplot as plt

x = [1, 2, 3]
value = [3, 2, 4]
plt.bar(x, value)
plt.xticks(x, ["First", "Second", "Third"])
plt.show()

import matplotlib.pyplot as plt

x = [1, 2, 3]

value = [3, 2, 4]

plt.bar(x, value)

plt.xticks(x, ["First", "Second", "Third"])

plt.show()

python-matplot-pyplot-bar02

ただし項目名が左寄せになっているので、これらをセンタリングする。

なおxticksを指定せず数値のままでセンタリングすると、xで与えた数値が中央に来るよう調整される。

import matplotlib.pyplot as plt

x = [1, 2, 3]
value = [3, 2, 4]
plt.bar(x, value, align="center")
plt.xticks(x, ["First", "Second", "Third"])
plt.show()

import matplotlib.pyplot as plt

x = [1, 2, 3]

value = [3, 2, 4]

plt.bar(x, value, align="center")

plt.xticks(x, ["First", "Second", "Third"])

plt.show()

python-matplot-pyplot-bar03

棒の位置や幅のコントロール

デフォルトでは棒の位置はxで与えた数値に左寄せされる。またwidth=で棒の幅を指定することができる。

以下のように指定することで、ヒストグラムのような図を描くこともできる。

import numpy as npy
import matplotlib.pyplot as plt

value = [1, 2, 4, 6, 4, 3, 1]
x = range(len(value))
plt.bar(x, value, width = 1)
plt.show()

import numpy as npy

import matplotlib.pyplot as plt

value = [1, 2, 4, 6, 4, 3, 1]

x = range(len(value))

plt.bar(x, value, width = 1)

plt.show()

python-matplot-pyplot-bar04

hist()関数の戻り値を使って、以下のように書けるが、時にグラフの両側に空きができてしまうので、さらに検討が必要。

import numpy as npy
import numpy.random as rnd
import matplotlib.pyplot as plt

data = rnd.rand(1000) + 0.5

x_min = 0.5
x_max = 1.5
bin_number = 10
bin_width = (x_max - x_min) / bin_number

bin_count, bin_position, patches = plt.hist(data, range=(x_min, x_max), bins=bin_number)
bin_position = npy.delete(bin_position, len(bin_position) - 1)
plt.bar(bin_position, bin_count, width=bin_width)
plt.show()

import numpy as npy

import numpy.random as rnd

import matplotlib.pyplot as plt

data = rnd.rand(1000) + 0.5

x_min = 0.5

x_max = 1.5

bin_number = 10

bin_width = (x_max - x_min) / bin_number

bin_count, bin_position, patches = plt.hist(data, range=(x_min, x_max), bins=bin_number)

bin_position = npy.delete(bin_position, len(bin_position) - 1)

plt.bar(bin_position, bin_count, width=bin_width)

plt.show()

ヒストグラム

pyplotで簡単にヒストグラムが描ける。デフォルトでは縦軸は度数。

import numpy.random as rnd
import matplotlib.pyplot as plt

data = rnd.randint(0, 10, 1000)
plt.hist(data, range=(0, 10))
plt.show()

import numpy.random as rnd

import matplotlib.pyplot as plt

data = rnd.randint(0, 10, 1000)

plt.hist(data, range=(0, 10))

plt.show()

python-matplot-pyplot-histgram-normed-false

縦軸を頻度にしたい場合は、normed=TRUEオプションをつける。

import numpy.random as rnd
import matplotlib.pyplot as plt

data = rnd.randint(0, 10, 1000)
plt.hist(data, normed=True, range=(0, 10))
plt.show()

import numpy.random as rnd

import matplotlib.pyplot as plt

data = rnd.randint(0, 10, 1000)

plt.hist(data, normed=True, range=(0, 10))

plt.show()

縦軸が小数になっていて、各階級の頻度が1/10bins→0.1程度になっていることに注意。

python-matplot-pyplot-histgram-normed-true

頻度分布について

上の例ではうまく頻度分布が表示されているが、以下のようにうまくいかない場合がある。

import numpy as npy
import numpy.random as rnd
import matplotlib.pyplot as plt

data = rnd.rand(100)
plt.hist(data, normed=True)
plt.show()

import numpy as npy

import numpy.random as rnd

import matplotlib.pyplot as plt

data = rnd.rand(100)

plt.hist(data, normed=True)

plt.show()

python-matplot-pyplot-histgram-normed-trouble

ヒストグラムとplotの重ね合わせ

ヒストグラムのrankの範囲とplotのx軸の範囲を同じにすれば、こちらの例のように重ねて描くことができる。

ヒストグラムの戻り値

hist()は3つの戻り値を返す。

import numpy as npy
import numpy.random as rnd
import matplotlib.pyplot as plt

data = rnd.rand(10)

bin_count, bin_position, patches = plt.hist(data, range=(0, 1))
print(bin_count)
print(bin_position)
print(patches)


# [ 2.  1.  2.  1.  1.  1.  1.  0.  1.  0.]
# [ 0.   0.1  0.2  0.3  0.4  0.5  0.6  0.7  0.8  0.9  1. ]
# <a list of 10 Patch objects>

import numpy as npy

import numpy.random as rnd

import matplotlib.pyplot as plt

data = rnd.rand(10)

bin_count, bin_position, patches = plt.hist(data, range=(0, 1))

print(bin_count)

print(bin_position)

print(patches)

# [ 2. 1. 2. 1. 1. 1. 1. 0. 1. 0.]

# [ 0. 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1. ]

# <a list of 10 Patch objects>

bin_count: 各ビンの度数。
bin_position: ビン数とrangeに応じたビンの位置。
patches: 各ビンのオブジェクトの配列。ビンごとに色を変えるなどの操作ができる。

Python3 – ライブラリのインストールとアップグレード

2016-09-25 / tau / コメントする

pipでライブラリをインストールしたときの記録。

numpy

C:...\python>python -m pip install numpy
Collecting numpy
  Downloading numpy-1.11.1-cp35-none-win_amd64.whl (7.6MB)a
    100% |################################| 7.6MB 36kB/s
Installing collected packages: numpy
Successfully installed numpy-1.11.1
You are using pip version 7.1.2, however version 8.1.2 is available.
You should consider upgrading via the 'python -m pip install --upgrade pip' command.

C:...\python>python -m pip install numpy

Collecting numpy

Downloading numpy-1.11.1-cp35-none-win_amd64.whl (7.6MB)a

100% |################################| 7.6MB 36kB/s

Installing collected packages: numpy

Successfully installed numpy-1.11.1

You are using pip version 7.1.2, however version 8.1.2 is available.

You should consider upgrading via the 'python -m pip install --upgrade pip' command.

pipのアップグレード

最初にnumpyをインストールした直後にメッセージが出た。

C:...\python>python -m pip install --upgrade pip
Collecting pip
  Downloading pip-8.1.2-py2.py3-none-any.whl (1.2MB)
    100% |################################| 1.2MB 174kB/s
Installing collected packages: pip
  Found existing installation: pip 7.1.2
    Uninstalling pip-7.1.2:
      Successfully uninstalled pip-7.1.2
Successfully installed pip-8.1.2

C:...\python>python -m pip install --upgrade pip

Collecting pip

Downloading pip-8.1.2-py2.py3-none-any.whl (1.2MB)

100% |################################| 1.2MB 174kB/s

Installing collected packages: pip

Found existing installation: pip 7.1.2

Uninstalling pip-7.1.2:

Successfully uninstalled pip-7.1.2

Successfully installed pip-8.1.2

matplotlib

C:...\python>python -m pip install matplotlib
Collecting matplotlib
  Downloading matplotlib-1.5.3-cp35-cp35m-win_amd64.whl (6.5MB)
    100% |################################| 6.5MB 92kB/s
Collecting python-dateutil (from matplotlib)
  Downloading python_dateutil-2.5.3-py2.py3-none-any.whl (201kB)
    100% |################################| 204kB 400kB/s
Requirement already satisfied (use --upgrade to upgrade): numpy>=1.6 in c:\users...\appdata\local\programs\python\python35\lib\site-packages (from matplotlib)
Collecting pytz (from matplotlib)
  Downloading pytz-2016.6.1-py2.py3-none-any.whl (481kB)
    100% |################################| 481kB 465kB/s
Collecting pyparsing!=2.0.4,!=2.1.2,>=1.5.6 (from matplotlib)
  Downloading pyparsing-2.1.9-py2.py3-none-any.whl (55kB)
    100% |################################| 61kB 751kB/s
Collecting cycler (from matplotlib)
  Downloading cycler-0.10.0-py2.py3-none-any.whl
Collecting six>=1.5 (from python-dateutil->matplotlib)
  Downloading six-1.10.0-py2.py3-none-any.whl
Installing collected packages: six, python-dateutil, pytz, pyparsing, cycler, matplotlib
Successfully installed cycler-0.10.0 matplotlib-1.5.3 pyparsing-2.1.9 python-dateutil-2.5.3 pytz-2016.6.1 six-1.10.0

C:...\python>python -m pip install matplotlib

Collecting matplotlib

Downloading matplotlib-1.5.3-cp35-cp35m-win_amd64.whl (6.5MB)

100% |################################| 6.5MB 92kB/s

Collecting python-dateutil (from matplotlib)

Downloading python_dateutil-2.5.3-py2.py3-none-any.whl (201kB)

100% |################################| 204kB 400kB/s

Requirement already satisfied (use --upgrade to upgrade): numpy>=1.6 in c:\users...\appdata\local\programs\python\python35\lib\site-packages (from matplotlib)

Collecting pytz (from matplotlib)

Downloading pytz-2016.6.1-py2.py3-none-any.whl (481kB)

100% |################################| 481kB 465kB/s

Collecting pyparsing!=2.0.4,!=2.1.2,>=1.5.6 (from matplotlib)

Downloading pyparsing-2.1.9-py2.py3-none-any.whl (55kB)

100% |################################| 61kB 751kB/s

Collecting cycler (from matplotlib)

Downloading cycler-0.10.0-py2.py3-none-any.whl

Collecting six>=1.5 (from python-dateutil->matplotlib)

Downloading six-1.10.0-py2.py3-none-any.whl

Installing collected packages: six, python-dateutil, pytz, pyparsing, cycler, matplotlib

Successfully installed cycler-0.10.0 matplotlib-1.5.3 pyparsing-2.1.9 python-dateutil-2.5.3 pytz-2016.6.1 six-1.10.0

scipy

エラー発生

C:...\python>python -m pip install scipy
Collecting scipy
  Downloading scipy-0.18.1.tar.gz (13.1MB)
    100% |################################| 13.1MB 52kB/s
Installing collected packages: scipy
  Running setup.py install for scipy ... error
    Complete output from command C:\Users...\AppData\Local\Programs\Python\Python35\python.exe -u -c "import setuptools, tokenize;__file__='C:\\Users...\\AppData\\Local\\Temp\\pip-build-qqtiwqdj\\scipy\\setup.py';exec(compile(getattr(tokenize, 'open', open)(__file__).read().replace('\r\n', '\n'), __file__, 'exec'))" install --record C:\Users...\AppData\Local\Temp\pip-p09190cf-record\install-record.txt --single-version-externally-managed --compile:

    Note: if you need reliable uninstall behavior, then install
    with pip instead of using `setup.py install`:

      - `pip install .`       (from a git repo or downloaded source
                               release)
      - `pip install scipy`   (last SciPy release on PyPI)


    lapack_opt_info:
    openblas_lapack_info:
      libraries openblas not found in ['C:...\\Python\\Python35\\lib', 'C:\\', 'C:\\Users...\\AppData\\Local\\Programs\\Python\\Python35\\libs']
      NOT AVAILABLE

    lapack_mkl_info:
    mkl_info:
      libraries mkl,vml,guide not found in ['C:\\Users...\\AppData\\Local\\Programs\\Python\\Python35\\lib', 'C:\\', 'C:\\Users...\\AppData\\Local\\Programs\\Python\\Python35\\libs']
      NOT AVAILABLE

      NOT AVAILABLE

    atlas_3_10_threads_info:
    Setting PTATLAS=ATLAS
    C:...\Python\Python35\lib\site-packages\numpy\distutils\system_info.py:639: UserWarning: Specified path C:\projects\numpy-wheels\windows-wheel-builder\atlas-builds\atlas-3.11.38-sse2-64\lib is invalid.
      warnings.warn('Specified path %s is invalid.' % d)
    <class 'numpy.distutils.system_info.atlas_3_10_threads_info'>
      NOT AVAILABLE

    atlas_3_10_info:
    <class 'numpy.distutils.system_info.atlas_3_10_info'>
      NOT AVAILABLE

    atlas_threads_info:
    Setting PTATLAS=ATLAS
    <class 'numpy.distutils.system_info.atlas_threads_info'>
      NOT AVAILABLE

    atlas_info:
    <class 'numpy.distutils.system_info.atlas_info'>
      NOT AVAILABLE

    C:\Users...\AppData\Local\Programs\Python\Python35\lib\site-packages\numpy\distutils\system_info.py:1548: UserWarning:
        Atlas (http://math-atlas.sourceforge.net/) libraries not found.
        Directories to search for the libraries can be specified in the
        numpy/distutils/site.cfg file (section [atlas]) or by setting
        the ATLAS environment variable.
      warnings.warn(AtlasNotFoundError.__doc__)
    lapack_info:
      libraries lapack not found in ['C:\\Users...\\AppData\\Local\\Programs\\Python\\Python35\\lib', 'C:\\', 'C:\\Users...\AppData\\Local\\Programs\\Python\\Python35\\libs']
      NOT AVAILABLE

    C:\Users...\AppData\Local\Programs\Python\Python35\lib\site-packages\numpy\distutils\system_info.py:1559: UserWarning:
        Lapack (http://www.netlib.org/lapack/) libraries not found.
        Directories to search for the libraries can be specified in the
        numpy/distutils/site.cfg file (section [lapack]) or by setting
        the LAPACK environment variable.
      warnings.warn(LapackNotFoundError.__doc__)
    lapack_src_info:
      NOT AVAILABLE

    C:\Users...\AppData\Local\Programs\Python\Python35\lib\site-packages\numpy\distutils\system_info.py:1562: UserWarning:
        Lapack (http://www.netlib.org/lapack/) sources not found.
        Directories to search for the sources can be specified in the
        numpy/distutils/site.cfg file (section [lapack_src]) or by setting
        the LAPACK_SRC environment variable.
      warnings.warn(LapackSrcNotFoundError.__doc__)
      NOT AVAILABLE

    Running from scipy source directory.
    Traceback (most recent call last):
      File "<string>", line 1, in <module>
      File "C:\Users...\AppData\Local\Temp\pip-build-qqtiwqdj\scipy\setup.py", line 415, in <module>
        setup_package()
      File "C:\Users...\AppData\Local\Temp\pip-build-qqtiwqdj\scipy\setup.py", line 411, in setup_package
        setup(**metadata)
      File "C:\Users...\AppData\Local\Programs\Python\Python35\lib\site-packages\numpy\distutils\core.py", line 135, in setup
        config = configuration()
      File "C:\Users...\AppData\Local\Temp\pip-build-qqtiwqdj\scipy\setup.py", line 335, in configuration
        config.add_subpackage('scipy')
      File "C:\Users...\AppData\Local\Programs\Python\Python35\lib\site-packages\numpy\distutils\misc_util.py", line 1003, in add_subpackage
        caller_level = 2)
      File "C:\Users...\AppData\Local\Programs\Python\Python35\lib\site-packages\numpy\distutils\misc_util.py", line 972, in get_subpackage
        caller_level = caller_level + 1)
      File "C:\Users...\AppData\Local\Programs\Python\Python35\lib\site-packages\numpy\distutils\misc_util.py", line 909, in _get_configuration_from_setup_py
        config = setup_module.configuration(*args)
      File "scipy\setup.py", line 15, in configuration
        config.add_subpackage('linalg')
      File "C:\Users...\AppData\Local\Programs\Python\Python35\lib\site-packages\numpy\distutils\misc_util.py", line 1003, in add_subpackage
        caller_level = 2)
      File "C:\Users...\AppData\Local\Programs\Python\Python35\lib\site-packages\numpy\distutils\misc_util.py", line 972, in get_subpackage
        caller_level = caller_level + 1)
      File "C:\Users...\AppData\Local\Programs\Python\Python35\lib\site-packages\numpy\distutils\misc_util.py", line 909, in _get_configuration_from_setup_py
        config = setup_module.configuration(*args)
      File "scipy\linalg\setup.py", line 20, in configuration
        raise NotFoundError('no lapack/blas resources found')
    numpy.distutils.system_info.NotFoundError: no lapack/blas resources found

    ----------------------------------------
Command "C:\Users...\AppData\Local\Programs\Python\Python35\python.exe -u -c "import setuptools, tokenize;__file__='C:\\Users...\\AppData\\Local\\Temp\\pip-build-qqtiwqdj\\scipy\\setup.py';exec(compile(getattr(tokenize, 'open', open)(__file__).read().replace('\r\n', '\n'), __file__, 'exec'))" install --record C:\Users...\AppData\Local\Temp\pip-p09190cf-record\install-record.txt --single-version-externally-managed --compile" failed with error code 1 in C:\Users...\AppData\Local\Temp\pip-build-qqtiwqdj\scipy\

100

101

102

103

104

105

106

C:...\python>python -m pip install scipy

Collecting scipy

Downloading scipy-0.18.1.tar.gz (13.1MB)

100% |################################| 13.1MB 52kB/s

Installing collected packages: scipy

Running setup.py install for scipy ... error

Complete output from command C:\Users...\AppData\Local\Programs\Python\Python35\python.exe -u -c "import setuptools, tokenize;__file__='C:\\Users...\\AppData\\Local\\Temp\\pip-build-qqtiwqdj\\scipy\\setup.py';exec(compile(getattr(tokenize, 'open', open)(__file__).read().replace('\r\n', '\n'), __file__, 'exec'))" install --record C:\Users...\AppData\Local\Temp\pip-p09190cf-record\install-record.txt --single-version-externally-managed --compile:

Note: if you need reliable uninstall behavior, then install

with pip instead of using `setup.py install`:

- `pip install .` (from a git repo or downloaded source

release)

- `pip install scipy` (last SciPy release on PyPI)

lapack_opt_info:

openblas_lapack_info:

libraries openblas not found in ['C:...\\Python\\Python35\\lib', 'C:\\', 'C:\\Users...\\AppData\\Local\\Programs\\Python\\Python35\\libs']

NOT AVAILABLE

lapack_mkl_info:

mkl_info:

libraries mkl,vml,guide not found in ['C:\\Users...\\AppData\\Local\\Programs\\Python\\Python35\\lib', 'C:\\', 'C:\\Users...\\AppData\\Local\\Programs\\Python\\Python35\\libs']

NOT AVAILABLE

atlas_3_10_threads_info:

Setting PTATLAS=ATLAS

C:...\Python\Python35\lib\site-packages\numpy\distutils\system_info.py:639: UserWarning: Specified path C:\projects\numpy-wheels\windows-wheel-builder\atlas-builds\atlas-3.11.38-sse2-64\lib is invalid.

warnings.warn('Specified path %s is invalid.' % d)

NOT AVAILABLE

atlas_3_10_info:

NOT AVAILABLE

atlas_threads_info:

Setting PTATLAS=ATLAS

NOT AVAILABLE

atlas_info:

NOT AVAILABLE

C:\Users...\AppData\Local\Programs\Python\Python35\lib\site-packages\numpy\distutils\system_info.py:1548: UserWarning:

Atlas (http://math-atlas.sourceforge.net/) libraries not found.

Directories to search for the libraries can be specified in the

numpy/distutils/site.cfg file (section [atlas]) or by setting

the ATLAS environment variable.

warnings.warn(AtlasNotFoundError.__doc__)

lapack_info:

libraries lapack not found in ['C:\\Users...\\AppData\\Local\\Programs\\Python\\Python35\\lib', 'C:\\', 'C:\\Users...\AppData\\Local\\Programs\\Python\\Python35\\libs']

NOT AVAILABLE

C:\Users...\AppData\Local\Programs\Python\Python35\lib\site-packages\numpy\distutils\system_info.py:1559: UserWarning:

Lapack (http://www.netlib.org/lapack/) libraries not found.

Directories to search for the libraries can be specified in the

numpy/distutils/site.cfg file (section [lapack]) or by setting

the LAPACK environment variable.

warnings.warn(LapackNotFoundError.__doc__)

lapack_src_info:

NOT AVAILABLE

C:\Users...\AppData\Local\Programs\Python\Python35\lib\site-packages\numpy\distutils\system_info.py:1562: UserWarning:

Lapack (http://www.netlib.org/lapack/) sources not found.

Directories to search for the sources can be specified in the

numpy/distutils/site.cfg file (section [lapack_src]) or by setting

the LAPACK_SRC environment variable.

warnings.warn(LapackSrcNotFoundError.__doc__)

NOT AVAILABLE

Running from scipy source directory.

Traceback (most recent call last):

File "<string>", line 1, in <module>

File "C:\Users...\AppData\Local\Temp\pip-build-qqtiwqdj\scipy\setup.py", line 415, in <module>

setup_package()

File "C:\Users...\AppData\Local\Temp\pip-build-qqtiwqdj\scipy\setup.py", line 411, in setup_package

setup(**metadata)

File "C:\Users...\AppData\Local\Programs\Python\Python35\lib\site-packages\numpy\distutils\core.py", line 135, in setup

config = configuration()

File "C:\Users...\AppData\Local\Temp\pip-build-qqtiwqdj\scipy\setup.py", line 335, in configuration

config.add_subpackage('scipy')

File "C:\Users...\AppData\Local\Programs\Python\Python35\lib\site-packages\numpy\distutils\misc_util.py", line 1003, in add_subpackage

caller_level = 2)

File "C:\Users...\AppData\Local\Programs\Python\Python35\lib\site-packages\numpy\distutils\misc_util.py", line 972, in get_subpackage

caller_level = caller_level + 1)

File "C:\Users...\AppData\Local\Programs\Python\Python35\lib\site-packages\numpy\distutils\misc_util.py", line 909, in _get_configuration_from_setup_py

config = setup_module.configuration(*args)

File "scipy\setup.py", line 15, in configuration

config.add_subpackage('linalg')

File "C:\Users...\AppData\Local\Programs\Python\Python35\lib\site-packages\numpy\distutils\misc_util.py", line 1003, in add_subpackage

caller_level = 2)

File "C:\Users...\AppData\Local\Programs\Python\Python35\lib\site-packages\numpy\distutils\misc_util.py", line 972, in get_subpackage

caller_level = caller_level + 1)

File "C:\Users...\AppData\Local\Programs\Python\Python35\lib\site-packages\numpy\distutils\misc_util.py", line 909, in _get_configuration_from_setup_py

config = setup_module.configuration(*args)

File "scipy\linalg\setup.py", line 20, in configuration

raise NotFoundError('no lapack/blas resources found')

numpy.distutils.system_info.NotFoundError: no lapack/blas resources found

----------------------------------------

Command "C:\Users...\AppData\Local\Programs\Python\Python35\python.exe -u -c "import setuptools, tokenize;__file__='C:\\Users...\\AppData\\Local\\Temp\\pip-build-qqtiwqdj\\scipy\\setup.py';exec(compile(getattr(tokenize, 'open', open)(__file__).read().replace('\r\n', '\n'), __file__, 'exec'))" install --record C:\Users...\AppData\Local\Temp\pip-p09190cf-record\install-record.txt --single-version-externally-managed --compile" failed with error code 1 in C:\Users...\AppData\Local\Temp\pip-build-qqtiwqdj\scipy\

20191023、O’REILLYの”Pythonではじめる機械学習”の勉強のため、scipyのインストールに再挑戦。

パッケージのリストを表示させるとpipが最新バージョンではないというWARNING。

C:\Users\xxxx>python -m pip list
Package         Version
--------------- -------
cycler          0.10.0
kiwisolver      1.1.0
matplotlib      3.1.1
numpy           1.17.1
pip             19.2.3
pyparsing       2.4.2
python-dateutil 2.8.0
setuptools      40.8.0
six             1.12.0
WARNING: You are using pip version 19.2.3, however version 19.3.1 is available.
You should consider upgrading via the 'python -m pip install --upgrade pip' command.

C:\Users\xxxx>python -m pip list

Package Version

--------------- -------

cycler 0.10.0

kiwisolver 1.1.0

matplotlib 3.1.1

numpy 1.17.1

pip 19.2.3

pyparsing 2.4.2

python-dateutil 2.8.0

setuptools 40.8.0

six 1.12.0

WARNING: You are using pip version 19.2.3, however version 19.3.1 is available.

You should consider upgrading via the 'python -m pip install --upgrade pip' command.

pipをアップグレード。

C:\...\Python>python -m pip install --upgrade pip
Collecting pip
  Downloading https://files.pythonhosted.org/packages/00/b6/9cfa56b4081ad13874b0c6f96af8ce16cfbc1cb06bedf8e9164ce5551ec1/pip-19.3.1-py2.py3-none-any.whl (1.4MB)
     |████████████████████████████████| 1.4MB 1.3MB/s
Installing collected packages: pip
  Found existing installation: pip 19.2.3
    Uninstalling pip-19.2.3:
      Successfully uninstalled pip-19.2.3
Successfully installed pip-19.3.1

C:\...\Python>python -m pip install --upgrade pip

Collecting pip

Downloading https://files.pythonhosted.org/packages/00/b6/9cfa56b4081ad13874b0c6f96af8ce16cfbc1cb06bedf8e9164ce5551ec1/pip-19.3.1-py2.py3-none-any.whl (1.4MB)

|████████████████████████████████| 1.4MB 1.3MB/s

Installing collected packages: pip

Found existing installation: pip 19.2.3

Uninstalling pip-19.2.3:

Successfully uninstalled pip-19.2.3

Successfully installed pip-19.3.1

scipyを無事インストール。

C:\...\Python>python -m pip install scipy
Collecting scipy
  Downloading https://files.pythonhosted.org/packages/e1/9e/454b2dab5ee21f66ebf02ddbc63c5f074b21c44e66e1a509b38566cac9d9/scipy-1.3.1-cp37-cp37m-win32.whl (27.1MB)
     |████████████████████████████████| 27.1MB 819kB/s
Requirement already satisfied: numpy>=1.13.3 in c:\users...\appdata\local\programs\python\python37-32\lib\site-packages (from scipy) (1.17.1)
Installing collected packages: scipy
Successfully installed scipy-1.3.1

C:\...\Python>python -m pip install scipy

Collecting scipy

Downloading https://files.pythonhosted.org/packages/e1/9e/454b2dab5ee21f66ebf02ddbc63c5f074b21c44e66e1a509b38566cac9d9/scipy-1.3.1-cp37-cp37m-win32.whl (27.1MB)

|████████████████████████████████| 27.1MB 819kB/s

Requirement already satisfied: numpy>=1.13.3 in c:\users...\appdata\local\programs\python\python37-32\lib\site-packages (from scipy) (1.17.1)

Installing collected packages: scipy

Successfully installed scipy-1.3.1

そのまま調子に乗って、ipython、scikit-learn、pandas、pillowもインストール。

C:\...\Python>python -m pip install ipython scikit-learn pandas pillow
Collecting ipython
  Downloading https://files.pythonhosted.org/packages/fb/44/f28a13852e562af719f9de1761680a84a93e8b4c50e22d00d68f60ee2e8b/ipython-7.8.0-py3-none-any.whl (775kB)
     |████████████████████████████████| 778kB 437kB/s
Collecting scikit-learn
  Downloading https://files.pythonhosted.org/packages/db/c8/5903e8f826f3b1b845942798f4948a817b6334f9601927c0eea09148cd70/scikit_learn-0.21.3-cp37-cp37m-win32.whl (5.2MB)
     |████████████████████████████████| 5.2MB 3.3MB/s
Collecting pandas
  Downloading https://files.pythonhosted.org/packages/f5/d7/383f1f6ae2cc6b85155a0d8aad9d20bdc21c65ffd74bf1f534ec27716d0b/pandas-0.25.2-cp37-cp37m-win32.whl (7.9MB)
     |████████████████████████████████| 7.9MB 1.6MB/s
Collecting pillow
  Downloading https://files.pythonhosted.org/packages/4b/88/0a35f7ae1e436309a97c92fec81c1ab7d70b4a0646f39b420cbcecfb2de6/Pillow-6.2.1-cp37-cp37m-win32.whl (1.8MB)
     |████████████████████████████████| 1.8MB 2.2MB/s
Collecting traitlets>=4.2
  Downloading https://files.pythonhosted.org/packages/ca/ab/872a23e29cec3cf2594af7e857f18b687ad21039c1f9b922fac5b9b142d5/traitlets-4.3.3-py2.py3-none-any.whl (75kB)
     |████████████████████████████████| 81kB 2.6MB/s
Collecting pickleshare
  Downloading https://files.pythonhosted.org/packages/9a/41/220f49aaea88bc6fa6cba8d05ecf24676326156c23b991e80b3f2fc24c77/pickleshare-0.7.5-py2.py3-none-any.whl
Collecting pygments
  Downloading https://files.pythonhosted.org/packages/5c/73/1dfa428150e3ccb0fa3e68db406e5be48698f2a979ccbcec795f28f44048/Pygments-2.4.2-py2.py3-none-any.whl (883kB)
     |████████████████████████████████| 890kB 3.3MB/s
Collecting colorama; sys_platform == "win32"
  Downloading https://files.pythonhosted.org/packages/4f/a6/728666f39bfff1719fc94c481890b2106837da9318031f71a8424b662e12/colorama-0.4.1-py2.py3-none-any.whl
Collecting jedi>=0.10
  Downloading https://files.pythonhosted.org/packages/55/54/da994f359e4e7da4776a200e76dbc85ba5fc319eefc22e33d55296d95a1d/jedi-0.15.1-py2.py3-none-any.whl (1.0MB)
     |████████████████████████████████| 1.0MB 6.8MB/s
Collecting prompt-toolkit<2.1.0,>=2.0.0
  Downloading https://files.pythonhosted.org/packages/87/61/2dfea88583d5454e3a64f9308a686071d58d59a55db638268a6413e1eb6d/prompt_toolkit-2.0.10-py3-none-any.whl (340kB)
     |████████████████████████████████| 348kB 2.2MB/s
Collecting decorator
  Downloading https://files.pythonhosted.org/packages/5f/88/0075e461560a1e750a0dcbf77f1d9de775028c37a19a346a6c565a257399/decorator-4.4.0-py2.py3-none-any.whl
Collecting backcall
  Downloading https://files.pythonhosted.org/packages/84/71/c8ca4f5bb1e08401b916c68003acf0a0655df935d74d93bf3f3364b310e0/backcall-0.1.0.tar.gz
Requirement already satisfied: setuptools>=18.5 in c:\users...\appdata\local\programs\python\python37-32\lib\site-packages (from ipython) (40.8.0)
Requirement already satisfied: scipy>=0.17.0 in c:\users...\appdata\local\programs\python\python37-32\lib\site-packages (from scikit-learn) (1.3.1)
Requirement already satisfied: numpy>=1.11.0 in c:\users...\appdata\local\programs\python\python37-32\lib\site-packages (from scikit-learn) (1.17.1)
Collecting joblib>=0.11
  Downloading https://files.pythonhosted.org/packages/8f/42/155696f85f344c066e17af287359c9786b436b1bf86029bb3411283274f3/joblib-0.14.0-py2.py3-none-any.whl (294kB)
     |████████████████████████████████| 296kB 2.2MB/s
Collecting pytz>=2017.2
  Downloading https://files.pythonhosted.org/packages/e7/f9/f0b53f88060247251bf481fa6ea62cd0d25bf1b11a87888e53ce5b7c8ad2/pytz-2019.3-py2.py3-none-any.whl (509kB)
     |████████████████████████████████| 512kB 2.2MB/s
Requirement already satisfied: python-dateutil>=2.6.1 in c:\users...\appdata\local\programs\python\python37-32\lib\site-packages (from pandas) (2.8.0)
Collecting ipython-genutils
  Downloading https://files.pythonhosted.org/packages/fa/bc/9bd3b5c2b4774d5f33b2d544f1460be9df7df2fe42f352135381c347c69a/ipython_genutils-0.2.0-py2.py3-none-any.whl
Requirement already satisfied: six in c:\users...\appdata\local\programs\python\python37-32\lib\site-packages (from traitlets>=4.2->ipython) (1.12.0)
Collecting parso>=0.5.0
  Downloading https://files.pythonhosted.org/packages/a3/bd/bf4e5bd01d79906e5b945a7af033154da49fd2b0d5b5c705a21330323305/parso-0.5.1-py2.py3-none-any.whl (95kB)
     |████████████████████████████████| 102kB 3.2MB/s
Collecting wcwidth
  Downloading https://files.pythonhosted.org/packages/7e/9f/526a6947247599b084ee5232e4f9190a38f398d7300d866af3ab571a5bfe/wcwidth-0.1.7-py2.py3-none-any.whl
Installing collected packages: decorator, ipython-genutils, traitlets, pickleshare, pygments, colorama, parso, jedi, wcwidth, prompt-toolkit, backcall, ipython, joblib, scikit-learn, pytz, pandas, pillow
    Running setup.py install for backcall ... done
Successfully installed backcall-0.1.0 colorama-0.4.1 decorator-4.4.0 ipython-7.8.0 ipython-genutils-0.2.0 jedi-0.15.1 joblib-0.14.0 pandas-0.25.2 parso-0.5.1 pickleshare-0.7.5 pillow-6.2.1 prompt-toolkit-2.0.10 pygments-2.4.2 pytz-2019.3 scikit-learn-0.21.3 traitlets-4.3.3 wcwidth-0.1.7

C:\...\Python>python -m pip install ipython scikit-learn pandas pillow

Collecting ipython

Downloading https://files.pythonhosted.org/packages/fb/44/f28a13852e562af719f9de1761680a84a93e8b4c50e22d00d68f60ee2e8b/ipython-7.8.0-py3-none-any.whl (775kB)

|████████████████████████████████| 778kB 437kB/s

Collecting scikit-learn

Downloading https://files.pythonhosted.org/packages/db/c8/5903e8f826f3b1b845942798f4948a817b6334f9601927c0eea09148cd70/scikit_learn-0.21.3-cp37-cp37m-win32.whl (5.2MB)

|████████████████████████████████| 5.2MB 3.3MB/s

Collecting pandas

Downloading https://files.pythonhosted.org/packages/f5/d7/383f1f6ae2cc6b85155a0d8aad9d20bdc21c65ffd74bf1f534ec27716d0b/pandas-0.25.2-cp37-cp37m-win32.whl (7.9MB)

|████████████████████████████████| 7.9MB 1.6MB/s

Collecting pillow

Downloading https://files.pythonhosted.org/packages/4b/88/0a35f7ae1e436309a97c92fec81c1ab7d70b4a0646f39b420cbcecfb2de6/Pillow-6.2.1-cp37-cp37m-win32.whl (1.8MB)

|████████████████████████████████| 1.8MB 2.2MB/s

Collecting traitlets>=4.2

Downloading https://files.pythonhosted.org/packages/ca/ab/872a23e29cec3cf2594af7e857f18b687ad21039c1f9b922fac5b9b142d5/traitlets-4.3.3-py2.py3-none-any.whl (75kB)

|████████████████████████████████| 81kB 2.6MB/s

Collecting pickleshare

Downloading https://files.pythonhosted.org/packages/9a/41/220f49aaea88bc6fa6cba8d05ecf24676326156c23b991e80b3f2fc24c77/pickleshare-0.7.5-py2.py3-none-any.whl

Collecting pygments

Downloading https://files.pythonhosted.org/packages/5c/73/1dfa428150e3ccb0fa3e68db406e5be48698f2a979ccbcec795f28f44048/Pygments-2.4.2-py2.py3-none-any.whl (883kB)

|████████████████████████████████| 890kB 3.3MB/s

Collecting colorama; sys_platform == "win32"

Downloading https://files.pythonhosted.org/packages/4f/a6/728666f39bfff1719fc94c481890b2106837da9318031f71a8424b662e12/colorama-0.4.1-py2.py3-none-any.whl

Collecting jedi>=0.10

Downloading https://files.pythonhosted.org/packages/55/54/da994f359e4e7da4776a200e76dbc85ba5fc319eefc22e33d55296d95a1d/jedi-0.15.1-py2.py3-none-any.whl (1.0MB)

|████████████████████████████████| 1.0MB 6.8MB/s

Collecting prompt-toolkit<2.1.0,>=2.0.0

Downloading https://files.pythonhosted.org/packages/87/61/2dfea88583d5454e3a64f9308a686071d58d59a55db638268a6413e1eb6d/prompt_toolkit-2.0.10-py3-none-any.whl (340kB)

|████████████████████████████████| 348kB 2.2MB/s

Collecting decorator

Downloading https://files.pythonhosted.org/packages/5f/88/0075e461560a1e750a0dcbf77f1d9de775028c37a19a346a6c565a257399/decorator-4.4.0-py2.py3-none-any.whl

Collecting backcall

Downloading https://files.pythonhosted.org/packages/84/71/c8ca4f5bb1e08401b916c68003acf0a0655df935d74d93bf3f3364b310e0/backcall-0.1.0.tar.gz

Requirement already satisfied: setuptools>=18.5 in c:\users...\appdata\local\programs\python\python37-32\lib\site-packages (from ipython) (40.8.0)

Requirement already satisfied: scipy>=0.17.0 in c:\users...\appdata\local\programs\python\python37-32\lib\site-packages (from scikit-learn) (1.3.1)

Requirement already satisfied: numpy>=1.11.0 in c:\users...\appdata\local\programs\python\python37-32\lib\site-packages (from scikit-learn) (1.17.1)

Collecting joblib>=0.11

Downloading https://files.pythonhosted.org/packages/8f/42/155696f85f344c066e17af287359c9786b436b1bf86029bb3411283274f3/joblib-0.14.0-py2.py3-none-any.whl (294kB)

|████████████████████████████████| 296kB 2.2MB/s

Collecting pytz>=2017.2

Downloading https://files.pythonhosted.org/packages/e7/f9/f0b53f88060247251bf481fa6ea62cd0d25bf1b11a87888e53ce5b7c8ad2/pytz-2019.3-py2.py3-none-any.whl (509kB)

|████████████████████████████████| 512kB 2.2MB/s

Requirement already satisfied: python-dateutil>=2.6.1 in c:\users...\appdata\local\programs\python\python37-32\lib\site-packages (from pandas) (2.8.0)

Collecting ipython-genutils

Downloading https://files.pythonhosted.org/packages/fa/bc/9bd3b5c2b4774d5f33b2d544f1460be9df7df2fe42f352135381c347c69a/ipython_genutils-0.2.0-py2.py3-none-any.whl

Requirement already satisfied: six in c:\users...\appdata\local\programs\python\python37-32\lib\site-packages (from traitlets>=4.2->ipython) (1.12.0)

Collecting parso>=0.5.0

Downloading https://files.pythonhosted.org/packages/a3/bd/bf4e5bd01d79906e5b945a7af033154da49fd2b0d5b5c705a21330323305/parso-0.5.1-py2.py3-none-any.whl (95kB)

|████████████████████████████████| 102kB 3.2MB/s

Collecting wcwidth

Downloading https://files.pythonhosted.org/packages/7e/9f/526a6947247599b084ee5232e4f9190a38f398d7300d866af3ab571a5bfe/wcwidth-0.1.7-py2.py3-none-any.whl

Installing collected packages: decorator, ipython-genutils, traitlets, pickleshare, pygments, colorama, parso, jedi, wcwidth, prompt-toolkit, backcall, ipython, joblib, scikit-learn, pytz, pandas, pillow

Running setup.py install for backcall ... done

Successfully installed backcall-0.1.0 colorama-0.4.1 decorator-4.4.0 ipython-7.8.0 ipython-genutils-0.2.0 jedi-0.15.1 joblib-0.14.0 pandas-0.25.2 parso-0.5.1 pickleshare-0.7.5 pillow-6.2.1 prompt-toolkit-2.0.10 pygments-2.4.2 pytz-2019.3 scikit-learn-0.21.3 traitlets-4.3.3 wcwidth-0.1.7

20191027、mglearnをインストール。

C:...>python -m pip install mglearn
Collecting mglearn
  Downloading https://files.pythonhosted.org/packages/fb/01/8d3630ecc767c9de96a9c46e055f2a3a5f9e14a47d3d0348a36a5005fe67/mglearn-0.1.7.tar.gz (540kB)
     |████████████████████████████████| 542kB 409kB/s
Requirement already satisfied: numpy in c:\users...\appdata\local\programs\python\python37-32\lib\site-packages (from mglearn) (1.17.1)
Requirement already satisfied: matplotlib in c:\users...\appdata\local\programs\python\python37-32\lib\site-packages (from mglearn) (3.1.1)
Requirement already satisfied: scikit-learn in c:\users...\appdata\local\programs\python\python37-32\lib\site-packages (from mglearn) (0.21.3)
Requirement already satisfied: pandas in c:\users...\appdata\local\programs\python\python37-32\lib\site-packages (from mglearn) (0.25.2)
Requirement already satisfied: pillow in c:\users...\appdata\local\programs\python\python37-32\lib\site-packages (from mglearn) (6.2.1)
Requirement already satisfied: cycler in c:\users...\appdata\local\programs\python\python37-32\lib\site-packages (from mglearn) (0.10.0)
Collecting imageio
  Downloading https://files.pythonhosted.org/packages/1a/de/f7f985018f462ceeffada7f6e609919fbcc934acd9301929cba14bc2c24a/imageio-2.6.1-py3-none-any.whl (3.3MB)
     |████████████████████████████████| 3.3MB 1.3MB/s
Requirement already satisfied: pyparsing!=2.0.4,!=2.1.2,!=2.1.6,>=2.0.1 in c:\users...\appdata\local\programs\python\python37-32\lib\site-packages (from matplotlib->mglearn) (2.4.2)
Requirement already satisfied: kiwisolver>=1.0.1 in c:\users...\appdata\local\programs\python\python37-32\lib\site-packages (from matplotlib->mglearn) (1.1.0)
Requirement already satisfied: python-dateutil>=2.1 in c:\users...\appdata\local\programs\python\python37-32\lib\site-packages (from matplotlib->mglearn) (2.8.0)
Requirement already satisfied: scipy>=0.17.0 in c:\users...\appdata\local\programs\python\python37-32\lib\site-packages (from scikit-learn->mglearn) (1.3.1)
Requirement already satisfied: joblib>=0.11 in c:\users...\appdata\local\programs\python\python37-32\lib\site-packages (from scikit-learn->mglearn) (0.14.0)
Requirement already satisfied: pytz>=2017.2 in c:\users...\appdata\local\programs\python\python37-32\lib\site-packages (from pandas->mglearn) (2019.3)
Requirement already satisfied: six in c:\users...\appdata\local\programs\python\python37-32\lib\site-packages (from cycler->mglearn) (1.12.0)
Requirement already satisfied: setuptools in c:\users...\appdata\local\programs\python\python37-32\lib\site-packages (from kiwisolver>=1.0.1->matplotlib->mglearn) (40.8.0)
Installing collected packages: imageio, mglearn
    Running setup.py install for mglearn ... done
Successfully installed imageio-2.6.1 mglearn-0.1.7

C:...>python -m pip install mglearn

Collecting mglearn

Downloading https://files.pythonhosted.org/packages/fb/01/8d3630ecc767c9de96a9c46e055f2a3a5f9e14a47d3d0348a36a5005fe67/mglearn-0.1.7.tar.gz (540kB)

|████████████████████████████████| 542kB 409kB/s

Requirement already satisfied: numpy in c:\users...\appdata\local\programs\python\python37-32\lib\site-packages (from mglearn) (1.17.1)

Requirement already satisfied: matplotlib in c:\users...\appdata\local\programs\python\python37-32\lib\site-packages (from mglearn) (3.1.1)

Requirement already satisfied: scikit-learn in c:\users...\appdata\local\programs\python\python37-32\lib\site-packages (from mglearn) (0.21.3)

Requirement already satisfied: pandas in c:\users...\appdata\local\programs\python\python37-32\lib\site-packages (from mglearn) (0.25.2)

Requirement already satisfied: pillow in c:\users...\appdata\local\programs\python\python37-32\lib\site-packages (from mglearn) (6.2.1)

Requirement already satisfied: cycler in c:\users...\appdata\local\programs\python\python37-32\lib\site-packages (from mglearn) (0.10.0)

Collecting imageio

Downloading https://files.pythonhosted.org/packages/1a/de/f7f985018f462ceeffada7f6e609919fbcc934acd9301929cba14bc2c24a/imageio-2.6.1-py3-none-any.whl (3.3MB)

|████████████████████████████████| 3.3MB 1.3MB/s

Requirement already satisfied: pyparsing!=2.0.4,!=2.1.2,!=2.1.6,>=2.0.1 in c:\users...\appdata\local\programs\python\python37-32\lib\site-packages (from matplotlib->mglearn) (2.4.2)

Requirement already satisfied: kiwisolver>=1.0.1 in c:\users...\appdata\local\programs\python\python37-32\lib\site-packages (from matplotlib->mglearn) (1.1.0)

Requirement already satisfied: python-dateutil>=2.1 in c:\users...\appdata\local\programs\python\python37-32\lib\site-packages (from matplotlib->mglearn) (2.8.0)

Requirement already satisfied: scipy>=0.17.0 in c:\users...\appdata\local\programs\python\python37-32\lib\site-packages (from scikit-learn->mglearn) (1.3.1)

Requirement already satisfied: joblib>=0.11 in c:\users...\appdata\local\programs\python\python37-32\lib\site-packages (from scikit-learn->mglearn) (0.14.0)

Requirement already satisfied: pytz>=2017.2 in c:\users...\appdata\local\programs\python\python37-32\lib\site-packages (from pandas->mglearn) (2019.3)

Requirement already satisfied: six in c:\users...\appdata\local\programs\python\python37-32\lib\site-packages (from cycler->mglearn) (1.12.0)

Requirement already satisfied: setuptools in c:\users...\appdata\local\programs\python\python37-32\lib\site-packages (from kiwisolver>=1.0.1->matplotlib->mglearn) (40.8.0)

Installing collected packages: imageio, mglearn

Running setup.py install for mglearn ... done

Successfully installed imageio-2.6.1 mglearn-0.1.7

Python3 – iter()によるイテレーターの実装

2016-09-25 / tau / コメントする

標準形

Pythonの特殊メソッド__iter__と__next__を使ってオブジェクトのイテレーターをつくることができる。ジェネレーターがyield文によって任意の値を生成するのに対して、イテレーターはコレクションの要素を順次取り出すときなどに有用。

__iter__と__next__の2つのメソッドを持ったオブジェクトがfor文で参照されるたびに、以下のように動作する。

forを始める前に__iter__メソッドが実行される
forブロックのループのたびに__next__メソッドが実行される

2つのメソッドの書き方は以下の通り。

__iter__: 戻り値としてオブジェクト自身(self)を返す。
__next__: イテレートされるべきプロパティを変更し、戻り値として現在値を返す。もし終了条件に合致しいている場合、イテレート終了の例外を発する。

次の例では、1から初めて最初に設定した値まで1ずつ増える数列のイテレーターをつくっている。

class Seq:
    def __init__(self, max):
        self._max = max

    def __iter__(self):
        self._a = 1
        return self

    def __next__(self):
        result = self._a
        if result > self._max: raise StopIteration
        self._a += 1
        return result

seq = Seq(10)
for n in seq:
    print(n, end=" ")
print()
for n in seq:
    print(n, end=" ")

# 1 2 3 4 5 6 7 8 9 10
# 1 2 3 4 5 6 7 8 9 10

class Seq:

def __init__(self, max):

self._max = max

def __iter__(self):

self._a = 1

return self

def __next__(self):

result = self._a

if result > self._max: raise StopIteration

self._a += 1

return result

seq = Seq(10)

for n in seq:

print(n, end=" ")

print()

for n in seq:

print(n, end=" ")

# 1 2 3 4 5 6 7 8 9 10

最初の__init__メソッドでは引数から数列の最大値をプロパティにセット。

__iter__メソッドはカウンタになるプロパティに初期値をセットして、selfを返す。

__next__メソッドはそれが呼ばれるたびに次のことを行う。

カウンタ値が最大値を超えていたらforブロックから抜け出るよう例外を返す
現在のカウンタ値を返す
カウンタ値をインクリメントする

forブロックから抜け出るための例外はStopIterationが準備されていて、forブロックがこの例外を受け取ると、エラーを発生させることなくforブロックの次の処理に移る。

インスタンス変数のイテレーターの取得

たとえばあるクラス内にリストがあって、リストそのものの構造は安全に守ったまま、その要素にアクセスする方法を考えてみた。

インスタンス変数のリストそのものやgetterなどで取得したリストへの参照をメソッドで返すと、リストそのものの操作までできてしまうが、それを防ぎたい。

そこで、インスタンス変数のイテレーターを生成するクラスを元のクラスのインナークラスとして準備して、外部へはイテレーターのインスタンスを渡すようにしてみた。

インナークラスでなくてもできるが、元のクラスのインスタンス変数の構造と密接に関連しているなら、インナークラスでまとめた方が明快だと思う。

class MainClass:
    # リストのイテレータを生成するクラス
    class Iterator:
        def __init__(self, lst):
            self.lst = lst
            self.count = -1
            self.max = len(lst)

        def __iter__(self):
            return self

        def __next__(self):
            self.count += 1
            if self.count == self.max: raise StopIteration
            return self.lst[self.count]

    # 元のクラスは2つのリストを配列として持つ
    def __init__(self):
        self.lst = []
        self.lst.append([1, 2, 3, 4])
        self.lst.append(['A', 'B', 'C', 'D'])

    # 引数の番号でリストを指定してイテレータを取得
    def get_iterator_of_list(self, n):
        return MainClass.Iterator(self.lst[n])

obj = MainClass()
for n in obj.get_iterator_of_list(0): print(n, end=' ')
print()
for n in obj.get_iterator_of_list(1): print(n, end=' ')

# 1 2 3 4
# A B C D

class MainClass:

# リストのイテレータを生成するクラス

class Iterator:

def __init__(self, lst):

self.lst = lst

self.count = -1

self.max = len(lst)

def __iter__(self):

return self

def __next__(self):

self.count += 1

if self.count == self.max: raise StopIteration

return self.lst[self.count]

# 元のクラスは2つのリストを配列として持つ

def __init__(self):

self.lst = []

self.lst.append([1, 2, 3, 4])

self.lst.append(['A', 'B', 'C', 'D'])

# 引数の番号でリストを指定してイテレータを取得

def get_iterator_of_list(self, n):

return MainClass.Iterator(self.lst[n])

obj = MainClass()

for n in obj.get_iterator_of_list(0): print(n, end=' ')

print()

for n in obj.get_iterator_of_list(1): print(n, end=' ')

# 1 2 3 4

# A B C D

基本

再利用不可

イテレーター等の指定

ラムダ式が可能

辞書によるマッピング

概要

カレントディレクトリ下での使用

カレントディレクトリ下でのモジュール管理のまとめ

サブディレクトリ管理でのエラー

パッケージ

パッケージ直下のモジュール

パッケージ内のモジュール

考え方

クラス構成

Transactionクラス

Serviceクラス

QueueSystemクラス

動作テスト

時刻制御の実装

考え方

テスト実行

実行結果

到着時間間隔の分布の確認

平均トランザクション数・平均待ち行列長など

各実行結果の傾向

ρ = 0.5のケース

ρ = 0.9のケース

関数とyield文によるジェネレーター

ジェネレーター式

ライブラリ

seed～乱数系列の指定

並べ替え

shuffle()

permutation()

確率分布

一様分布～[0, 1)

rand()

random_sample()/random()

一様整数乱数～任意の範囲の整数

randint()

random_integers()

正規分布

randn()～標準正規分布

normal()～正規分布

exponential()～指数分布

Tips

整数の乱数配列を生成する

基本形

棒の位置や幅のコントロール

ヒストグラム

頻度分布について

ヒストグラムとplotの重ね合わせ

ヒストグラムの戻り値

numpy

pipのアップグレード

matplotlib

scipy

標準形

インスタンス変数のイテレーターの取得

`seed`～乱数系列の指定

`shuffle()`

`permutation()`

`rand()`

`random_sample()/random()`

`randint()`

`random_integers()`

`randn()`～標準正規分布

`exponential()`～指数分布