🌱 Topics involved

• Camera model falsification
• Demosaicing
• GAN
• Metric learning

📖 Summary

• Scenario
  • 어떤 카메라로 찍었는지 모르는 사진 한 장이 있음 → ‘unknown model’
  • 사진을 모종의 방법으로 위조한 다음, 이를 camera model falsification 방법으로 숨기고싶음
• Goal
  • Unknown model의 demosaicing 패턴을 만들어낼 수 있는 GAN 훈련시키기
• Challenges & Approaches

  1. Unknown model의 DB가 부족

     📷 Known models 📸	iPhone 4s	iPhone 6
     Motorola Droid Maxx	Motorola Nexus 6	Motorola X
     Samsung Galaxy Note 3	Samsung Galaxy S4	LG Nexus 5x

     • 다른 카메라 모델들의 DB를 활용 → ‘known models’
       • HOW?
         • Known model 각각의 패턴을 생성하는 pretrained generator로 unknown model의 사진에 패턴을 생성
       • WHY?
         • 각 모델의 사진(contents)을 외우는 것이 아닌 패턴만 볼 수 있도록 하기 위함

  2. Unknown model 고유의 패턴을 알지 못함

     • Known model들의 패턴과 known model의 패턴이 구별되도록 metric learning 활용
       • HOW?
         • Discriminator 대신에 embedder를 사용하여 사진을 demosaicing pattern으로 구별 가능한 feature space로 embedding할 수 있게 함
         • feature space 상 unknown & known model 각각의 center을 기준으로 loss 계산
         • Losses

  3. Generator가 demosaicing을 잘 하지 못함

     • Mosaic된 사진을 bilinear interpolation으로 demosaic된 것을 generator에 입력으로 줌
       • WHY?
         • Generator가 RGB 채널 각각을 처음부터 생성해내는 것이 아닌 어느정도 demosaic된 것을 입력함으로써 guidance를 제공

Overall architecture

• Networks
  • Generator
  • Embedder

👩‍💻 Code

• Parsing으로 training option 입력 받기
• Network 정의, initialize, optimizer & scheduler 정의
• Custom dataset
• Center 계산
• Overall architecture training

🙌 Results

1. Generator