数据处理操作-FlyAI

数据处理操作

深度学习 PyTorch

最后更新 2020-06-19 19:12 阅读 267

最后更新 2020-06-19 19:12

阅读 267

深度学习 PyTorch

# 常见的数据处理操作
# 前言
>这次是对主要是对数据的增强操作和读取进行说明和如何用pytorch进行数据处理和进行数据读取。

# 标题常见的数据处理方法
## PIllow
以Lena的图片为例
![原图](https://img-blog.csdnimg.cn/20200523231543172.jpg)
>然后进行pillow的一个函数处理
>![filter](https://img-blog.csdnimg.cn/20200523231726732.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hlbGxvX2ZlbmdmZW5n,size_16,color_FFFFFF,t_70)

pillow操作可[官方文档](https://pillow.readthedocs.io/en/stable/)
## CV2
>可查看
>[官网](https://opencv.org/)

原图
>![元](https://img-blog.csdnimg.cn/20200523233303737.png)
cv的一步操作
![bcat](https://img-blog.csdnimg.cn/20200523233146116.png)

# 标题对数据进行增广
## torchvision
这是一个关于pytorch常见的数据处理的库，里面还有mnist，cifar等包的API
，也有常见的数据处理功能
```python
import numpy as np
import torch
from PIL import Image
from torch.utils.data.dataset import Dataset

class SVHNDataset(Dataset):
    def __init__(self, img_path, img_label, transform=None):
        self.img_path = img_path
        self.img_label = img_label
        if transform is not None:
            self.transform = transform
        else:
            self.transform = None

def __getitem__(self, index):
        img = Image.open(self.img_path[index]).convert('RGB')

if self.transform is not None:
            img = self.transform(img)

lbl = np.array(self.img_label[index], dtype=np.int)
        lbl = list(lbl) + (5 - len(lbl)) * [10]
        return img, torch.from_numpy(np.array(lbl[:5]))

def __len__(self):
        return len(self.img_path)
```
>这里重点看 getitem函数，getitem接收一个index，然后返回图片数据和标签，这个index通常指的是一个list的index，这个list的每个元素就包含了图片数据的路径和标签信息。
>初始化中还会初始化transform，transform是一个Compose类型，里边有一个list，list中就会定义了各种对图像进行处理的操作，可以设置减均值，除标准差，随机裁剪，旋转，翻转，仿射变换等操作
>````
>在这里我们可以知道，一张图片读取进来之后，会经过数据处理（数据增强），最终变成输入模型的数据
>当采用randomcrop之类的随机操作时，每个epoch输入进来的图片几乎不会是一模一样的，这达到了样本多样性的功能

常见的操作
![操作](https://img-blog.csdnimg.cn/20200523234557638.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hlbGxvX2ZlbmdmZW5n,size_16,color_FFFFFF,t_70)
>举个例子
```python
    # train_path = glob.glob('input/train/*.png')
    train_path = glob.glob('./data/train')
    train_path.sort()
    train_json = json.load(open('./data/train.json'))
    train_label = [train_json[x]['label'] for x in train_json]
    print(len(train_path), len(train_label))

train_loader = torch.utils.data.DataLoader(
        SVHNDataset(train_path, train_label,
                    transforms.Compose([
                        transforms.Resize((64, 128)), 
                        transforms.RandomCrop((60, 120)),
                        transforms.ColorJitter(0.3, 0.3, 0.2),
                        transforms.RandomRotation(10),
                        transforms.ToTensor(),
                        transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225])
                    ])),
        batch_size=512,
        shuffle=True,
        num_workers=2,
    )

```
------
__参考__：

>1.[torchvision](https://imgconvert.csdnimg.cn/aHR0cHM6Ly9naXRodWIuY29tL3B5dG9yY2gvdmlzaW9u?x-oss-process=image/format,png)

本作品采用知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议进行许可，转载请附上原文出处链接和本声明。
本文链接地址：https://www.flyai.com/article/584

讨论

500字

表情

每日优质讨论奖励 20FAI

发送

每日优质讨论奖励 20FAI

删除确认

是否删除该条评论？

取消删除