分享资料个
该项目背后的想法是创建一个能够根据手指手势驱动执行器的设备。
该项目专门用于识别 raspberry-pi 相机拍摄的手部流图像。
用于训练模型的图像数据集是临时创建的，图像仅从 Raspberry 相机（而非其他设备）拍摄，具有中性背景。
该模型基于Inception v3模型的迁移学习，为处理项目需求而定制。最后一层从Inception v3模型中删除，并添加了几层以使用新数据集进行自定义，并仅提供四种情况的输出。
该模型使用先前在桌面（32 Gb ram + GPU）上收集和预分类的图像进行训练。一旦模型经过训练和测试，它就会被导出到 Raspberry Pi。
该项目的目的是确定我手指的位置。
因此，它创建了一个图像数据集，其中手指在四个不同的位置{'无'、'一根手指'、'多于一根手指'、'手闭合'}。
手的位置总是颠倒的。
使用的模型基于称为迁移学习的技术。从已经完全训练的预先存在的模型（Inception v3 模型）中删除了最后几层，并添加了额外的几个新层。
在代码下方自定义添加到模型的层。
last_layer = pre_trained_model.get_layer('mixed7')
last_output = last_layer.output
#creating a model using the previous model without the last few layers
x = layers.Flatten()(last_output)
# Add a fully connected layer with 100 hidden units and ReLU activation
x = layers.Dense(100, activation='relu')(x)
# Add a dropout rate of 0.2
x = layers.Dropout(0.2)(x)
# Add a final sigmoid layer for the classification of the 4 status
x = layers.Dense(4, activation='softmax')(x)
model = Model( pre_trained_model.input, x)训练仅基于图像的数据集，并添加了一些可变性以强制模型进行泛化。这种可变性或多样性（称为数据增强）允许人为地增加训练示例的数量并提高分类的质量。
training_datagen = ImageDataGenerator(
rescale = 1./255,
rotation_range=40,
width_shift_range=0.2,
height_shift_range=0.2,
shear_range=0.2,
zoom_range=0.2,
horizontal_flip=True,
fill_mode='nearest')该模型仅拟合了 20 个 epoch，足以拟合模型并避免过度拟合。
history = model.fit(
train_generator,
validation_data = validation_generator,
steps_per_epoch = 5,
epochs = 20,
validation_steps = 5,
verbose = 2)该模型的准确性非常好，特别是对于验证数据集（由没有可变性（数据增强）的真实图像组成）。
一旦模型足够好，它就会被保存并导出。
model.save("C:\\gits_folders\\Tensorflow_Lite_embeded\\raspbery\\enzo_02")到目前为止描述的所有步骤都在 Jupiter notebook 上，可在下面的链接中找到：
模型训练和测试由一个相当强大的桌面执行。完成这些步骤后，必须将最终结果移至 Raspberry PI。
Raspberry PI 应该仅执行从 Raspberry PI 相机拍摄的图像流中进行的推断（计算量如此之大，比训练密集得多）。
export_dir = "C:\\gits_folders\\Tensorflow_Lite_embeded\\raspbery\\enzo_02"
loaded = tf.saved_model.load(export_dir)
converter = tf.lite.TFLiteConverter.from_saved_model(export_dir)
converter.optimizations = [tf.lite.Optimize.DEFAULT]
tflite_model = converter.convert()
tflite_model_file = 'enzo02_converted_model.tflite'
with open(tflite_model_file, "wb") as f:
f.write(tflite_model)在代码之后，模型保存在一个文件（“enzo_02”）中，该文件可以轻松地从桌面复制到 Raspberry PI 文件系统。然后，它可以被运行在 Raspberry PI 上的 python 脚本读取。
from tflite_runtime.interpreter import Interpreter
....
interpreter = Interpreter(args.model)
interpreter.allocate_tensors()
_, height, width, _ = interpreter.get_input_details()[0]['shape']完整的脚本可在链接中找到：
下面是一个如何午餐脚本的示例：
python3 classify_picamera_servo.py --model ./enzo01_converted_model.tflite --labels ./labels电路非常简单。带有摄像头的树莓派 4 是核心组件。他们收集视频流并使用部署的模型执行推理。然后，根据推理结果，一个信号被发送到 PCA9685，PCA9685 相应地操作 3 个伺服系统。
用于操作 3 个伺服系统的 PCA9685 工作负载由 9v 的外部电池支持。
这 3 个标志是使用 Polymorph 材料创建的。Polymorph 是一种特殊类型的塑料，其熔化温度约为 60˚C，用沸水加热即可成型为任何形状。一旦冷却，它就会变成一种非常坚韧的类似尼龙的聚合物。由于它是一种热塑性塑料，Polymorph 可以多次重新加热和热成型。
它的使用非常简单，您只需将一些多晶型物放入一杯水中，在微波炉中加热几分钟（直到多晶型物变得透明）。
然后将其从水中取出并开始将其塑造成所需的形状。
在这个项目中，多形体被赋予了标志形状并添加了一个伺服臂（对于 3 个标志中的每一个）。冷却后，他们创建了一个独特的结构，其中插入了服务器臂。因此，很容易将它们连接到伺服系统。
我们通过添加彩色多形体来区分旗帜，因此每个旗帜都有不同的颜色。
最终的建筑非常简单，使用附件部分的 .stl 文件 3D 打印伺服支架和 Raspberry PI/相机支架。将每个标志连接到一个伺服器，并将伺服器插入其支架。
然后，将 Raspberry Pi 及其摄像头插入外壳中。
声明：本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人，不代表电子发烧友网立场。文章及其配图仅供工程师学习之用，如有内容侵权或者其他违规问题，请联系本站处理。 举报投诉
全部0条评论
快来发表一下你的评论吧 !
