colab pro..

colab pro 결제하려고 보니.. 에러가 난다.. "[OR-FGBDL-35]" 미국/캐나다만 지원이라서 그런거 같은데, 구글페이 결제 프로필을 하나 더 미국 주소로 추가하고 나니 결제가 되는, GCP 가격이 너무 비싸니ㅜ, 초반 실험은 COLAB, 내 PC로 해야겠다.. 좋은 PC 한개 더 맞추고 싶다.

tensorflow lite

거의 쓸일이 없다가.. 모바일쪽에 프로그램할 일이 잘 없으니..갑자기 써야할 일이 생겼는데

-. tensorflow lite 가 예전에도 이정도로 최적화를 잘했었나?? (모바일은 아니고, pc에서 cpu만 쓰는데, v100 으로 inference한 거보다.. cpu inference가 10배는 빠른..)

-. nvidia-gpu는 왜 lite 지원을 안해줄까?? 하긴 비싼 gpu를 인퍼런스하는데 쓸일은 없을테니..

논문 review

tapnet이 ICLR2020 reject 이었다니... 논문 평가에 문제가 있는거 아닌가..

Knowledge Distillation

Knowledge Distillation 에 대한 구현. 

tensorflow2.2 colab 에서 작성. 

cifar10 data로 실험. 

 efficientnetb0 모델을 student로 하고, b4를 teacher 모델로 사용. acc 기준 83.5±0.3 에서 85.0±0.3 수준으로 student 모델이 향상되었음. 

cifar10 data가 워낙 작은 data이기 때문에 큰효과가 없어보이지만, 큰모델일 수록 성능차이가 두드러지는 data에서는 필요한 방법임. 

(특히 inference 상황에서 시간제한이 어느정도 있을 때)

tensorflow 2.1 - keras.utils.Sequence workers >1 when finalizing GeneratorDataset iterator

tensorflow 2.1 에서 keras.utils.Sequence  사용시  workers를 1이상 사용하면, 1epochs 끝날때 마다 when finalizing GeneratorDataset iterator warning을 내 뱉는다.  그대로 정상 수행 되는거 같지만, cpu 메모리 가 점점늘어난다.

문제점은 찾은 상태고, 버그 수정 후 병합 대기 중이니, 지금 2.2 까지 나온 상태이니.. 2.3쯤 되면 정상 사용할 수 있을듯하다..

그전까진 keras.utils.Sequence 를 최대한 자제 (급하면 workers=1로) 하고. tf.data를 사용해야한다.

Error occurred when finalizing GeneratorDataset iterator: Cancelled

Error occurred when finalizing GeneratorDataset iterator: Cancelled 라는 에러 가 tensorflow 2.1 업데이트 후 발생하는데, tf.keras.Sequence 에 multi gpu 관련 bug가 있어서 이런 현상 발생하고 있다.

추후 2.2 ver 나오면 해결 될 예정인것 같고, Sequnce를 안쓰고 tf.data.Dataset을 이용해 구현하거나, 임시 방편으로는 worker 를 1로 고정해서 쓴다.

초딩 연산 연습

코로나 때문에 얘들이 심심해해서 연산 퀴즈 문제를 만들어서 주고 있음. ㅜ.ㅜ